Introduction

저자들은 episodic memory를 활용한 CL 전략을 제시합니다.(replay or rehearsal)

위와 같이 흔히 CL에서 사용되는 셋업이 아닌 Blurry-CIL을 사용해서 문제 해결을 위한 환경을 설정합니다. 이는 disjointed setup에 비해 realistic한 특성을 가지고 있으며 current task를 학습할 때 다른 task에 속하는 데이터를 활용할 수 있습니다. 이러한 환경에서 replay 를 사용할 때 자연스럽게 어떠한 데이터를 샘플링 했을 때 더 forgetting을 방지할 수 있을까? 라는 의문점을 가졌다고 합니다.

이러한 의문 안에서 저자들은 두 가지의 요점을 제시합니다.

1. pertubation(섭동,혼합,증강)을 사용하여 각 이미지(데이터)들의 불확실성을 측정하고 이를 사용하여 샘플링을 진행합니다.
2. 이미지의 다양성을 높이기 위해 다양한 DA 방법을 사용합니다. single, multiple 이미지를 활용하는 augmentation들을 활용해보고 어떤 방법을 적용했을 때 이미지의 다양성이 높아지는지 증명합니다.

Related Work

여기서는 Blurry setup을 설명하기 위한 CIL 셋업, 버퍼 내에 수집되는 샘플들의 다양성을 설명하기 위한 Class Imbalance, 마지막으로 이미지(데이터)를 버퍼에 할당하기 위해 어떻게 샘플링 할지를 설명하기 위해 Episodic Memory Management로 구분됩니다. 모두 중요하지만 핵심적인 Episodic Memory Management에 대해서만 여기서 정리합니다.

Episodic Memory Management

이전까지 제안된 데이터 수집방법에 대해 소개합니다. 일정한 확률을 기반으로 수집하는 uniform random sampling, entropy based sampling, GAN을 통해 데이터를 생성하는 방법 등을 소개하면서 이러한 방법들은 좋은 성능을 보이고 있으나 복잡한 연산과 샘플 생성기를 훈련시키는 것이 어렵다는 문제를 가지고 있습니다.

이러한 방법들을 해결하기 위해 Batch-level distillation, compressed memory등의 다양한 방법이 제시되었지만 결국 메모리 효율성에 대한 부분을 다루고 있으며 저자들은 메모리 퀄리티(질)에 대해 집중했다고 합니다.

“결국 질 좋은 데이터가 replay를 진행했을 때 성능이 좋을 것이라고 본 것입니다.”

Approach

하나의 task를 훈련할 때 다른 task에 속하는 클래스의 일부를 가져와서 실험하는 것을 사용합니다. 이는 조금 더 real한 환경에서 CL을 검증하는 것을 도와줍니다.

1. Diversity-Aware Memory Update