반응형 NCE3 [딥러닝 with Python] EBM(Energy-Based Model) 이해 : 확률을 에너지로 바꾸기 머신러닝에서 데이터를 모델링하는 방법은 다양합니다. 일반적으로 확률 모델을 사용해 데이터가 특정 분포를 따른다고 가정하고 이를 학습하하지만, 특정 확률 분포를 명확히 정의하기 어려운 경우에 오늘 알아볼 EBM(Energy-Based Model) 을 사용할 수 있습니다. EBM은 확률을 직접적으로 다루지 않고, "에너지"라는 개념을 활용해서 데이터를 평가하는 방식인데요. 이 개념을 바탕으로 대조학습(Contrastive Learning)이 등장하게 되었습니다.Contrastive Learning 기초 : EBM, NCE, InfoNCE Contrastive Learning 기초 : EBM, NCE, InfoNCE이번에 알아볼 것은 Contrastive Learning에서 핵심 개념인 EBM(Energy.. 2025. 3. 5. Contrastive Learning 기초 : EBM, NCE, InfoNCE 이번에 알아볼 것은 Contrastive Learning에서 핵심 개념인 EBM(Energy Based Model), NCE(Noise Contrastive Estimation), 그리고 InfoNCE의 개념에 대해서 자세히 알아보고 이를 정리해보도록 하겠습니다. 1. EBM(Energy Based Model), NCE(Noise Contrastive Estimation), 그리고 InfoNCE 1) EBM(Energy Based Model) - 에너지 기반 모델(EBM)은 확률론적 프레임워크를 제공하며, 에너지 함수 를 이용해 실제 데이터에는 낮은 에너지를 할당하고 비실제 데이터에는 높은 에너지를 할당합니다- 이때 에너지를 정의하기 위해 볼츠만 분포(Boltzmann Distribution)을 활용.. 2025. 2. 28. [딥러닝 with Python] NCE란?(Noise Contrastive Estimation) NCE는 Noise Contrastive Estimation의 약자로, 머신러닝 및 자연어 처리(NLP)에서 자주 사용되는 확률 밀도 추정 기법을 말합니다. NCE는 특히 복잡한 확률 분포를 추정하는 과정을 간단히 하고 계산량을 줄이는데 초점을 맞추고 있는데요. 이번편에서는 NCE의 개념과 작동 방식, 그리고 예시를 통해서 보다 심층적으로 이해해보도록 하겠습니다. 1. NCE란?- NCE란, 데이터를 기반으로 한 실제 분포와 노이즈 분포를 구별하도록 학습하는 방법을 말합니다.- 일반적인 확률 모델은 확률 분포 p(x)를 직접적으로 추정하려고 하지만, NCE는 이 분포를 추정하는 대신 실제 분포와 노이즈 분포를 분류하는 이진 분류 문제로 전환하여 계산 및 성능적으로 효율성을 보이는데요 - NCE의 핵.. 2024. 12. 15. 이전 1 다음 반응형
