반응형 moco3 [딥러닝 with Python] Self-Supervised Learning (2) : 대조학습(Contrastive Learning) 이번에는 자기지도학습(Self-Supervised Learning, SSL)의 방법 중 대조학습(Contrastive Learning)에 대해서 알아보고자 합니다. 1. 대조학습(Contrastive Learning)이란?- 대조학습은 유사한 데이터(Positive Sample)는 가깝게, 다른 데이터(Negative Sample)는 멀어지도록 학습하는 방법을 말합니다. - 대조학습의 핵심 원리는 1) 데이터 증강(Augmentation)을 통해서 Positive / Negative Pair를 생성 * 하나의 이미지를 다양한 변형(Crop, Rotation, Color Jittering 등)하여 Positive Pair를 생성해줍니다. * 서로 다른 이미지는 Negative Pair로 설정합니다. 2.. 2025. 3. 3. [딥러닝 with Python] Online Encoder, Momentum Encoder Self-Supervised Learning(자기지도학습)에서는 레이블 없이 데이터의 특징을 효과적으로 학습하기 위해 Online Encoder와 Momentum Encoder를 활용합니다. 이 두 개념은 Representation Learning에서 중요한 역할을 하며, 특히 Contrastive Learning과 BYOL과 같은 방법론에서 핵심적인 요소로 작용합니다. 1. Online Encoder와 Momentum Encoder1) Online Encoder - Online Encoder는 데이터를 인코딩하여 feature embedding을 생성하는 주 네트워크입니다. 학습 과정에서 직접 가중치를 업데이트하며, Representation Learning의 핵심 요소로 작용합니다. - 이는 일반적인.. 2025. 2. 27. [딥러닝 with Python] Self Supervised Learning(SSL) (3) : Invariance 활용 이번에는 Invariance를 활용해 Self Supervised Learning을 하는 방법에 대해서 알아보겠습니다. 1. Invariance?- Inavraicne란, 모델이 입력 데이터의 특정 변환에 영향을 받지 않, 일관된 출력을 유지할 수 있는 성징을 의미합니다. - 다양한 데이터 변환에 대해 안정성을 유지하는 것이 목표이며, 모델이 학습해야 될 주요한 특징이 왜곡되거나 변화되게하여 실제 세계에서 만나게 될 다양한 조건에서 변환된 데이터로부터 일반화된 특징을 도출할 수 있도록 하기 위함입니다. - 대표적인 Inavraince는 1) Translation Invariance (위치 불변성) : 모델이 이미지 내 객체의 위치 변화에 민감하지 않도록 하는 것 2) Rotation Invariance(.. 2024. 11. 16. 이전 1 다음 반응형
