반응형 BYOL3 [딥러닝 with Python] Self-Supervised Learning (3) : 불변성(Invariance)을 활용한 자기지도학습(Self-Supervised Learning) - 비대조학습(Non-Contrastive Learning)을 중심으로 이번 포스팅은 SSL(Self-Supervised Learning, 자기지도학습)에 대해서 알아보는 포스팅의 시리즈입니다. 지난번에 알아본 방법들은, * Pretext task[딥러닝 with Python] Self-Supervised Learning (1) : Pretext Task [딥러닝 with Python] Self-Supervised Learning (1) : Pretext Task1. Self-Supervised Learning(SSL)이란?- SSL(자기지도 학습)은 레이블 없이 데이터를 학습할 수 있는 대표적인 학습기법으로, 최근 AI연구에서 큰 주목을 받고 있는 방법입니다. - 특히 딥러닝 모델이 사전jaylala.tistory.com * Contrastive Learning(대조학습.. 2025. 3. 6. [딥러닝 with Python] Online Encoder, Momentum Encoder Self-Supervised Learning(자기지도학습)에서는 레이블 없이 데이터의 특징을 효과적으로 학습하기 위해 Online Encoder와 Momentum Encoder를 활용합니다. 이 두 개념은 Representation Learning에서 중요한 역할을 하며, 특히 Contrastive Learning과 BYOL과 같은 방법론에서 핵심적인 요소로 작용합니다. 1. Online Encoder와 Momentum Encoder1) Online Encoder - Online Encoder는 데이터를 인코딩하여 feature embedding을 생성하는 주 네트워크입니다. 학습 과정에서 직접 가중치를 업데이트하며, Representation Learning의 핵심 요소로 작용합니다. - 이는 일반적인.. 2025. 2. 27. [딥러닝 with Python] Self Supervised Learning(SSL) (4) : Invariance 활용 이번에는 지난 시간에 이이서 SSL 간 Invariance를 활용하는 모델들에 대해서 알아보겠습니다. 오늘 알아볼 모델은 BYOL(Bootstrap Your Own Latent)와 DINO입니다. 1. BYOL(Bootstrap Your Own Latent)- BYOL은 Online 네트워크와 Target 네트워크 구성되어 Contrastive Learning을 하는 방식입니다.- 기존의 다른 Contrastive Learning과는 다르게 Negative sample이 필요하진 않습니다. - 작동 방식은 * 두 네트워크에 서로 다른 증강된 데이터를 입력하고 * Online 네트워크의 출력과 Target 네트워크의 출력을 비교하면서 학습을 하며 * 이때 Target 네트워크는 학습이 되지는 않고, 대신 .. 2024. 11. 17. 이전 1 다음 반응형
