반응형 딥러닝 with Python110 [딥러닝 with Python] Self Supervised Learning(SSL) (2) : Pretext 활용 1. Pretext Task- Pretext 란, "표면상의 이유" 또는 "구실", "핑계" 라는 뜻을 가지고 있습니다. - Self Supervised Learning에서 Pretext Task란 모델이 유용한 표현을 학습하기 위해 설정된 임시 과제의 역할을 말합니다. - 이를 활용하는 방법은 아래와 같습니다. * Pretext를 활용해 모델을 사전 학습 시키고, 이렇게 학습된 모델을 활용해 Fine tuing하여 다양한 Down stream task에 이용하는 것입니다. * 이렇게 하면, 레이블이 부족한 또는 하기 어려운 상황에서 다량의 unlabeled된 데이터를 활용해 학습하고, 이를 소량의 label된 데이터에 맞게 fine tuning하여 효율적이면서도 좋은 성능을 낼 수 있게 하는 것입니다... 2024. 11. 15. [딥러닝 with Python] Self-Supervised Learning(SSL) (1) 이번에는 Self-Supervised Learning에 대해서 알아보겠습니다. 1. Self-supervised Learning- Deep Neural Network는 많은 분야에서 괄목할만한 성과를 거두면서 점차 그 확장가능성을 보여왔지만, 이때 Network의 학습을 위해서는 Label이 달려있는 데이터, 즉 Supervised Learning을 위한 데이터가 많이 필요하다는 문제점이 있었습니다. - 이때 Labeling을 하는 작업은 많은 시간과 돈이 소모되며, 일반인들이 할 수 없는 전문적인 영역(의료 도메인, 생산공정 등)에서는 전문가들이 이러한 Labeling을 해야하다보니 더 많은 어려움이 있었습니다. - 이를 극복하기 위해 탄생한 학습 방법이 Self Supervised Learning(S.. 2024. 11. 14. [딥러닝 with Python] 디퓨전 모델(Diffusion Model) (4) : Latent Diffusion Models 1. Latent Diffusion Models (LDMs)- Latent Diffusion Models는 이미지 생성에서 효율성과 품질을 모두 고려한 방법을 말합니다. - 이때 두 가지 주요 학습 단계를 거치게 되는데, "Semantic Compression"과 "Perceptual Comperssion"입니다. 1) Semantic Compression * Semantic Compression은 데이터를 추상적인 형태로 표현하여 그 핵심적인 의미를 인코딩하는 단계로, 원래 이미지가 가지고 있는 맥락이나 구조를 최대한 보존하면서도 세부적인 요소는 생략하는 방식을 말합니다. * 이 단계에서 이미지의 중요한 특징을 학습하며, 이미지의 전반적인 의미를 유지하는 방향으로 압축을 합니다. 2) Percept.. 2024. 11. 13. [딥러닝 with Python] Weakly Supervised Learning 이란? 이번에 알아볼 것은 Weakly Supervised learning입니다. 1. Weakly Supervised Learning이란? - 위와 같이 Machine Learning의 학습 범주를 나누어보면 Supervised / Weakly Supervised / Unsupervised / Reinforcement Learning으로 분류해볼 수 있습니다. - 이 중 오늘 알아볼 Weakly Supervised Learning은 완전한 레이블 정보가 부족한 데이터에서 모델을 효과적으로 학습시키기 위한 다양한 기술과 접근 방식을 포괄하는 학습 방식을 말합니다. - 이는 다음과 같이 크게 3가지로 나눌 수 있습니다. 1) Incomplete Supervision : 일부 데이터에만 레이블이 존재하고 나머지 .. 2024. 11. 13. 이전 1 2 3 4 5 6 7 ··· 28 다음 반응형
