NC-FSCIL 정리

Introduction.

NC-FSCIL (Neural Collapse-inspired Few-Shot Class-Incremental Learning) 주요 내용:

• FSCIL (Few-Shot Class-Incremental Learning)의 정의:
  • 새로운 클래스를 점진적으로 학습하면서 각 세션마다 소수의 샘플만 사용
  • 기존 클래스에 대한 성능을 유지하면서 새로운 클래스 학습
  • 기존 클래스를 학습할 때에는 주어진 데이터셋 내에 있는 모든 데이터를 사용 가능
• 기존 FSCIL 방법의 한계:
  • 새로운 프로토타입(Prototype)이 기존 클래스와 가까워져 구분이 어려움. 차원 상으로 보내는 것이기 때문에 latent space 내에서 엉키게 되면 inaccurate output 이 도출됨.
  • CL 학습을 진행하다보면 기존 클래스와 새로운 클래스 간의 거리 유지와 기존 프로토타입 위치 유지가 동시에 어려움
• NC-FSCIL의 핵심 아이디어:
  • Neural Collapse 현상을 활용한 분류기 사전 할당 (최적으로 구성된)
  • Simplex Equiangular Tight Frame (ETF)를 사용하여 전체 라벨 공간에 대한 분류기 프로토타입 초기화
  • backbone 고정 후 projection layer만 fine-tuning
• NC-FSCIL의 주요 기여:
  • FSCIL 의 prototype methods 내의 feature-aligned 불일치 문제 해결
  • new loss function
  • miniImageNet, CIFAR-100, CUB-200 데이터셋에서 최신 성능 달성

Neural Collapse && NC-FSCIL의 주요 정리

1. Neural Collapse 현상:

   • 훈련 마지막 단계에서 같은 클래스의 특징들이 하나의 점으로 수렴
   • 모든 클래스의 점들이 분류기 프로토타입과 정렬되어 simplex ETF 형성
   • Simplex란, 삼각형과 사면체를 표현하기 위한 일반화.. 정도? 다면체를 생각해서 이해할 수 있을 것 같다.

2. Simplex ETF (Equiangular Tight Frame):

   • K개의 벡터로 구성된 최적 모양의 기하학적 구조 (R^d 공간, d ≥ K-1) (K = 클래스의 수, d는 차원). 정리에서는 정의된 개념만을 다루기 위해 이미 도출되어있는 논문상의 개념을 가져와서 이야기합니다. 논문과 같이 보는게 좋을 수 있습니다.)
   • 모든 벡터의 L2 norm(magnitude)은 1, 서로 다른 두 벡터의 내적은 -1/(K-1) (angle)
   • 분류를 위한 최적의 기하학적 구조 (Fisher Discriminant Ratio 최대화하는 구조)

3. NC-FSCIL의 핵심 아이디어(해당 논문):

   • 전체 라벨 공간에 대해 simplex ETF로 사전에 classification을 위한 prototype 초기화
   • frozen backbone 뒤에 projection layer 추가
   • 증분 세션에서는 projection layer fine-tuninig
   • 새로운 손실 함수(dot regression loss)를 사용하여 최종 특징을 목표 프로토타입으로 유도

⚡⚡⚡⚡ my think

이러한 prototype 방법들의 단점은 미리 할당할 클레스의 수를 알아야지만 prototype을 구성할 수 있다는 것 같다. 해당 논문은 한 정된 데이터셋 내에서의 CL을 다루고 있어서 상관없지만, 클레스의 수가 정해져있지 않은 open-set으로 오면 많은 한계점을 시사한다고 본다.

⚡⚡⚡⚡