반응형 invariance3 [딥러닝 with Python] Self Supervised Learning (SSL) (5) : Invariance 활용 이번에는 SSL에서 Invariance를 활용하는 모델들 중 Different Modality를 활용하는 모델들에 대해서 알아보겠습니다. 알아볼 모델은 - CMC(Contrastive Multiview Coding / Matching view와 Unmatching view라는 다른 modality)- CLIP(Contrastive Language-Image Pretraining / Language 와 Image라는 다른 modality) 입니다. 1. CMC(Contrastive Multiview Coding)- CMC는 다양한 시각 정보를 제공하는 멀티뷰 데이터를 Contrastive Learning으로 학습하는 모델입니다. - 해당 모델은 서로 다른 뷰가 동일한 객체를 나타내고 있다는 사실을 학습.. 2024. 11. 18. [딥러닝 with Python] Self Supervised Learning(SSL) (3) : Invariance 활용 이번에는 Invariance를 활용해 Self Supervised Learning을 하는 방법에 대해서 알아보겠습니다. 1. Invariance?- Inavraicne란, 모델이 입력 데이터의 특정 변환에 영향을 받지 않, 일관된 출력을 유지할 수 있는 성징을 의미합니다. - 다양한 데이터 변환에 대해 안정성을 유지하는 것이 목표이며, 모델이 학습해야 될 주요한 특징이 왜곡되거나 변화되게하여 실제 세계에서 만나게 될 다양한 조건에서 변환된 데이터로부터 일반화된 특징을 도출할 수 있도록 하기 위함입니다. - 대표적인 Inavraince는 1) Translation Invariance (위치 불변성) : 모델이 이미지 내 객체의 위치 변화에 민감하지 않도록 하는 것 2) Rotation Invariance(.. 2024. 11. 16. [딥러닝 with Python] Self-Supervised Learning(SSL) (1) 이번에는 Self-Supervised Learning에 대해서 알아보겠습니다. 1. Self-supervised Learning- Deep Neural Network는 많은 분야에서 괄목할만한 성과를 거두면서 점차 그 확장가능성을 보여왔지만, 이때 Network의 학습을 위해서는 Label이 달려있는 데이터, 즉 Supervised Learning을 위한 데이터가 많이 필요하다는 문제점이 있었습니다. - 이때 Labeling을 하는 작업은 많은 시간과 돈이 소모되며, 일반인들이 할 수 없는 전문적인 영역(의료 도메인, 생산공정 등)에서는 전문가들이 이러한 Labeling을 해야하다보니 더 많은 어려움이 있었습니다. - 이를 극복하기 위해 탄생한 학습 방법이 Self Supervised Learning(S.. 2024. 11. 14. 이전 1 다음 반응형
