이전에 조사했던 Detection 평가지표에 대해 궁금한 것이 있어 다시 조사하였습니다.

Detectron2를 분석하면서 찾게된 것입니다.

목차

기본설명

• IOU = Intersection over Union, 말 그대로 겹치는 부분의 정도를 이야기 합니다. 해당 값이 높을수록 실제 객체의 이미지와 예측한 BBox의 범위가 큰 것이므로, 정확히 예측하는 것입니다. 여기서 나온 값을 Threshold와 비교하여 해당 객체가 정확히 판단한 것인지를 이야기 합니다.

ex) Threshold = 0.7, IOU = 0.6 → False Threshold = 0.7, IOU = 0.8 → True

• Recall = 실제 정답인 데이터 상에서 옳게 판별된 수치를 나타냅니다.

  

  • TP = True Positive. 실제 정답이 True, 예측 정답이 True
  • FN = False Negative. 실제 정답이 True, 예측 정답이 False

• Precision = True라고 예측한 것중 실제 데이터가 True인 비율

  

  • TP = True Positive. 실제 정답이 True, 예측 정답이 True
  • FP = False Positive. 실제 정답이 False, 예측 정답이 True

  간단하게 아래와 같습니다. TP, FN, FP, TN의 의미.

  

Evaluator

COCO Evaluator

<aside> 💡 AP = Average Precision mAP = mean Average Precision 다만 coco에서는 이 두가지를 동일한 의미로 봅니다. AP = mAP

</aside>

VOC 에서는 IOU값이 0.5 이상의 Threshold를 넘으면 True Positive로 받아들입니다. 하지만 그것은 0.6 또는 0.9의 기준을 가지는 모델도 동일한 가중치를 갖습니다. 따라서 COCO에서는 이러한 문제를 해결하기위해 IOU 임계값의 범위를 다양하게 변화시켜 각 IOU에 대한 mAP를 계산하고, 평균을 취하여 최종 mAP를 얻는 것입니다.

해당 이미지에서 AP의 값의 의미는 IoU = 0.5에서 0.95까지 0.05의 step으로 변하하며 mAP를 측정한다는 의미입니다. 이렇게 하는 이유에 대해서는 위에서 설명하였습니다. 하지만 IoU = 0.5 or 0.7과 같이 고정시켜둔 값에 대해서는 고정됩니다. AP50 or AP70 이런식으로 표현합니다.