반응형 pretext task2 [딥러닝 with Python] Self Supervised Learning(SSL) (2) : Pretext 활용 1. Pretext Task- Pretext 란, "표면상의 이유" 또는 "구실", "핑계" 라는 뜻을 가지고 있습니다. - Self Supervised Learning에서 Pretext Task란 모델이 유용한 표현을 학습하기 위해 설정된 임시 과제의 역할을 말합니다. - 이를 활용하는 방법은 아래와 같습니다. * Pretext를 활용해 모델을 사전 학습 시키고, 이렇게 학습된 모델을 활용해 Fine tuing하여 다양한 Down stream task에 이용하는 것입니다. * 이렇게 하면, 레이블이 부족한 또는 하기 어려운 상황에서 다량의 unlabeled된 데이터를 활용해 학습하고, 이를 소량의 label된 데이터에 맞게 fine tuning하여 효율적이면서도 좋은 성능을 낼 수 있게 하는 것입니다... 2024. 11. 15. [딥러닝 with Python] Self-Supervised Learning(SSL) (1) 이번에는 Self-Supervised Learning에 대해서 알아보겠습니다. 1. Self-supervised Learning- Deep Neural Network는 많은 분야에서 괄목할만한 성과를 거두면서 점차 그 확장가능성을 보여왔지만, 이때 Network의 학습을 위해서는 Label이 달려있는 데이터, 즉 Supervised Learning을 위한 데이터가 많이 필요하다는 문제점이 있었습니다. - 이때 Labeling을 하는 작업은 많은 시간과 돈이 소모되며, 일반인들이 할 수 없는 전문적인 영역(의료 도메인, 생산공정 등)에서는 전문가들이 이러한 Labeling을 해야하다보니 더 많은 어려움이 있었습니다. - 이를 극복하기 위해 탄생한 학습 방법이 Self Supervised Learning(S.. 2024. 11. 14. 이전 1 다음 반응형
