반응형 Linear Probing1 [개념 정리] Linear probing이란? 이번에는 인공지능 논문을 볼때 주로 나오는 용어 중 하나인 Linear Probing입니다. 1. Linear probing이란?- Linear Probing은 사전 학습된 모델(Pretrained Model)의 Representation을 분석하거나, 특정 작업에 대한 학습된 특성의 일반화 성능을 평가하는데 사용되는 기법을 말합니다. - 즉, 사전 학습된 모델의 중간 레이어에서 나온 특징을 고정(Frozen)하고, 새로운 선형 분류기를 학습해 해당 특징의 유용성을 평가하는 방식을 말합니다. - Linear Probing은 다음과 같이 이루어집니다.1) Featrue extraction : 사전 학습된 모델(BERT, ResNet 등)의 중간 레이어에서 특징 벡터(Representation)을 추출합니.. 2024. 10. 31. 이전 1 다음 반응형
