이번에는 Image Segementaion 결과를 평가할 때 사용되는 지표들에 대해서 정리해보겠습니다.
먼저, 간단히 Image Segementation에 대한 정의를 정리해보고, 이후 평가지표들에 대해서 알아보겠습니다.
1. Image Segementation 이란?
- Image Segmentaion은 이미지를 구성하는 픽셀들을 여러 개의 세그먼트(Segment)로 나누는 과정을 의미합니다. 이는 이미지를 더 잘 이해하고 분석하기 위함이며, Segmenation을 통해 객체의 경계, 모양, 크기 텍스처 등의 정보를 추출할 수 있습니다.
- 이미지 세그멘테이션의 유형은 크게 3가지 정도로 볼 수 있습니다.
a) Semantic Image Segmentation
: 모든 픽셀을 특정 클래스에 할당하는 것으로, 같은 클래스의 객체들은 같은 레이블을 가지지만 개별 객체를 구분하지는 않습니다. (ex. 모든 '고양이' 픽셀에 같은 레이블을 할당하고, 모든 '개' 픽셀에 다른 레이블을 할당)
b) Instance Segementation
: 같은 클래스의 개별 객체들을 구별합니다.(ex. 이미지에 있는 개와 고양이도 구분할 뿐더러, 개도 진도개, 말티즈, 허스키 등... 고양이도 각 품종별로 구분)
c) Panopic Segementation
: 이미지 내의 모든 픽셀을 분류하고, 동시에 개별 객체를 식별하는 방법으로 Semantic Segementation과 Instance Segmentation을 결합한 형태
2. Segmentation 평가 지표들
위 그림처럼, Input 데이터를 모델에 넣어서 Prediction을 도출이 되었다고 해봅시다. 이때 Ground truth와 Prediction을 어떻게 비교할지에 대해서 정의한 것을 Segmentation의 평가지표라고 합니다.
다음은 Segmentation의 평가지표들에 대해서 알아보겠습니다.
1) Pixel Accuracy
- Segmentation은 Pixel 단위로 이미지를 분류하는 방법입니다. 그렇기에 예측된 값의 픽셀들이 얼마나 Ground Truth의 픽셀값과 유사한지를 알아보면 되는데요. 이를 Pixel Accuracy라고 합니다.
- Pixel Accuracy = (올바르게 분류된 픽셀의 수) / (전체 픽셀의 수)
- 위에서 정의된 것처럼 Pixel Accuracy는 Classifciation의 Accuracy와 매우 유사한 형태인데요.
* 결국 Segmentation에 의해서 각 픽셀은 특정 클래스에 속하게 될 것입니다. 이 결과가 일치하지 않는지 일치하는지를 구분하여 그 개수를 세어 확률로서 표현하는 것이 Pixel Accuracy입니다.
픽셀 단위의 결과값들을 (TP + TN) / (FP + FN + TP + TN)으로 계산하면 됩니다.
2) IOU (Intersection Over Union)
- 예측된 Segmentation 영역과 실제 Segmentation 영역의 교집합(Intersection)과 합집합(Union)의 비율
* IOU = Inersection Area / Uniton Area
3) Mean Intersection Over Union
- 앞서 설명드린 IOU의 평균(Mean)을 구하는 것 입니다.
- 이는, 클래스 별 IOU의 평균을 구하는 것으로
와 같이 수식으로 표현할 수 있습니다.
- IOU를 Class별로 계산하면 한 이미지에서 여러 클래스에 대한 각 IOU를 구하실 수 있는데요. 이를 클래스의 개수로 나누어주면 됩니다.
이외에도 분류에서 사용한 F1-Score, Precision, Recall 등이 픽셀단위의 개념으로 적용해서 사용됩니다.
댓글