반응형 SSL9 [딥러닝 with Python] Self-Supervised Learning (4) : Masking 기법 이번에는 SSL에서 Masking을 활용하는 대표적인 기법인 MAE(Masked Autoencoder)와 SimMIM(Simple Maskied Image Modeling)에 대해서 알아보겠습니다. 가장 직관적인 이해를 위해 Masking을 활용하는 다양한 모델들이 있지만 Vision Task에 대한 2개 모델을 설명을 위해 선정하였습니다. 1. 자기지도 학습(Self-Supervised Learning)에서 Masking 기법- Masking은 데이터의 일부를 숨기거나 변혀앟여 학습 모델이 해당 부분을 예측하도록 유도하는 방식입니다. - 이를 통해 모델이 데이터에 대한 더 유용한 표현을 학습할 수 있게 되는데요. 이를 정리해보면 a) 데이터의 효율성 : 일부 데이터를 감추고 나머지 데이터로 학습을 .. 2025. 3. 12. [딥러닝 with Python] Self-Supervised Learning (1) : Pretext Task 1. Self-Supervised Learning(SSL)이란?- SSL(자기지도 학습)은 레이블 없이 데이터를 학습할 수 있는 대표적인 학습기법으로, 최근 AI연구에서 큰 주목을 받고 있는 방법입니다. - 특히 딥러닝 모델이 사전학습(Pretraining)을 통해 데이터의 패턴을 학습한 후, 지도학습(Supervised Learning)이나 비지도학습(Unsupervised Learning)에 활용할 수 있도록 설계되었는데요. - SSL의 여러 방법이 있지만 그 중 가장 먼저 알아볼 방법은 Pretext Task입니다. 2. Pretext Task- Pretext Task는 모델이 데이터를 스스로 학습할 수 있도록 특정한 학습 목표를 설정하는 것을 의미합니다.- Pretext Task를 우리말로 번역해.. 2025. 2. 28. [딥러닝 with Python] Online Encoder, Momentum Encoder Self-Supervised Learning(자기지도학습)에서는 레이블 없이 데이터의 특징을 효과적으로 학습하기 위해 Online Encoder와 Momentum Encoder를 활용합니다. 이 두 개념은 Representation Learning에서 중요한 역할을 하며, 특히 Contrastive Learning과 BYOL과 같은 방법론에서 핵심적인 요소로 작용합니다. 1. Online Encoder와 Momentum Encoder1) Online Encoder - Online Encoder는 데이터를 인코딩하여 feature embedding을 생성하는 주 네트워크입니다. 학습 과정에서 직접 가중치를 업데이트하며, Representation Learning의 핵심 요소로 작용합니다. - 이는 일반적인.. 2025. 2. 27. [딥러닝 with Python] Self Supervised Learning(SSL) (6) : Sequential Structure 활용 이번에는 Sequential Structure를 활용해서 Self Supervised Learning을 하는 3가지 모델에 대해서 알아보겠습니다. - CPC (Contrastive Predictive Coding)- VINCE(View Invariant Contrastive Learning for Visual Representations)- FlowE 1. Sequential Structure를 활용하는 SSL 모델 1) CPC (Contrastive Predictive Coding) - CPC는 데이터의 미래 정보를 예측하는 방식으로 SSL을 하는 모델입니다.- 이는 미래정보를 예측하는 방식을 통해 유용한 Feature를 추출하며, Negative와 Positive Samples를 모두 활용합니다.- .. 2024. 11. 19. 이전 1 2 3 다음 반응형
