반응형 clip2 [딥러닝 with Python] Self Supervised Learning (SSL) (5) : Invariance 활용 이번에는 SSL에서 Invariance를 활용하는 모델들 중 Different Modality를 활용하는 모델들에 대해서 알아보겠습니다. 알아볼 모델은 - CMC(Contrastive Multiview Coding / Matching view와 Unmatching view라는 다른 modality)- CLIP(Contrastive Language-Image Pretraining / Language 와 Image라는 다른 modality) 입니다. 1. CMC(Contrastive Multiview Coding)- CMC는 다양한 시각 정보를 제공하는 멀티뷰 데이터를 Contrastive Learning으로 학습하는 모델입니다. - 해당 모델은 서로 다른 뷰가 동일한 객체를 나타내고 있다는 사실을 학습.. 2024. 11. 18. [딥러닝 with Python] 이미지 리트리버(Image Retrieval) / CLIP 으로 구현 1. 이미지 리트리버(Image Retrieval)- 이미지 리트리버는 주어진 입력(쿼리 / Query)와 유사한 이미지를 대규모 이미지 데이터베이스에서 검색해내는 시스템을 말합니다. - 이때 입력(쿼리)는 텍스트, 이미지 등 다양하게 활용할 수 있습니다. - 이미지 리트리버의 주요 구성요소는 아래와 같습니다. 1) 쿼리 입력(Query Input) * 텍스트 쿼리 : 사용자가 텍스트로 이미지의 설명을 제공하면, 시스템은 이 텍스트를 기반으로 검색을 합니다. ex. "강아지가 뛰어노는 사진" 이라는 텍스트 쿼리를 입력하면 아래와 같이 쿼리에 해당하는 이미지가 반환되게 됩니다. * 이미지 쿼리 : 사용자가 이미지를 제공하면, 시스템은 이 이미지와 유사한 이미지를 검색하게 됩니다. (이를, 콘텐.. 2024. 7. 30. 이전 1 다음 반응형
