반응형 딥러닝 with Python135 [딥러닝 with Python] Self-Supervised Learning (4) : Masking 기법 이번에는 SSL에서 Masking을 활용하는 대표적인 기법인 MAE(Masked Autoencoder)와 SimMIM(Simple Maskied Image Modeling)에 대해서 알아보겠습니다. 가장 직관적인 이해를 위해 Masking을 활용하는 다양한 모델들이 있지만 Vision Task에 대한 2개 모델을 설명을 위해 선정하였습니다. 1. 자기지도 학습(Self-Supervised Learning)에서 Masking 기법- Masking은 데이터의 일부를 숨기거나 변혀앟여 학습 모델이 해당 부분을 예측하도록 유도하는 방식입니다. - 이를 통해 모델이 데이터에 대한 더 유용한 표현을 학습할 수 있게 되는데요. 이를 정리해보면 a) 데이터의 효율성 : 일부 데이터를 감추고 나머지 데이터로 학습을 .. 2025. 3. 12. [딥러닝 with Python] Self-Supervised Learning (3) : 불변성(Invariance)을 활용한 자기지도학습(Self-Supervised Learning) - 비대조학습(Non-Contrastive Learning)을 중심으로 이번 포스팅은 SSL(Self-Supervised Learning, 자기지도학습)에 대해서 알아보는 포스팅의 시리즈입니다. 지난번에 알아본 방법들은, * Pretext task[딥러닝 with Python] Self-Supervised Learning (1) : Pretext Task [딥러닝 with Python] Self-Supervised Learning (1) : Pretext Task1. Self-Supervised Learning(SSL)이란?- SSL(자기지도 학습)은 레이블 없이 데이터를 학습할 수 있는 대표적인 학습기법으로, 최근 AI연구에서 큰 주목을 받고 있는 방법입니다. - 특히 딥러닝 모델이 사전jaylala.tistory.com * Contrastive Learning(대조학습.. 2025. 3. 6. [딥러닝 with Python] EBM(Energy-Based Model) 이해 : 확률을 에너지로 바꾸기 머신러닝에서 데이터를 모델링하는 방법은 다양합니다. 일반적으로 확률 모델을 사용해 데이터가 특정 분포를 따른다고 가정하고 이를 학습하하지만, 특정 확률 분포를 명확히 정의하기 어려운 경우에 오늘 알아볼 EBM(Energy-Based Model) 을 사용할 수 있습니다. EBM은 확률을 직접적으로 다루지 않고, "에너지"라는 개념을 활용해서 데이터를 평가하는 방식인데요. 이 개념을 바탕으로 대조학습(Contrastive Learning)이 등장하게 되었습니다.Contrastive Learning 기초 : EBM, NCE, InfoNCE Contrastive Learning 기초 : EBM, NCE, InfoNCE이번에 알아볼 것은 Contrastive Learning에서 핵심 개념인 EBM(Energy.. 2025. 3. 5. [딥러닝 with Python] Self-Supervised Learning (2) : 대조학습(Contrastive Learning) 이번에는 자기지도학습(Self-Supervised Learning, SSL)의 방법 중 대조학습(Contrastive Learning)에 대해서 알아보고자 합니다. 1. 대조학습(Contrastive Learning)이란?- 대조학습은 유사한 데이터(Positive Sample)는 가깝게, 다른 데이터(Negative Sample)는 멀어지도록 학습하는 방법을 말합니다. - 대조학습의 핵심 원리는 1) 데이터 증강(Augmentation)을 통해서 Positive / Negative Pair를 생성 * 하나의 이미지를 다양한 변형(Crop, Rotation, Color Jittering 등)하여 Positive Pair를 생성해줍니다. * 서로 다른 이미지는 Negative Pair로 설정합니다. 2.. 2025. 3. 3. 이전 1 2 3 4 ··· 34 다음 반응형
