반응형 디퓨전4 [딥러닝 with Python] 디퓨전 모델(Diffusion Model) (4) : Latent Diffusion Models 1. Latent Diffusion Models (LDMs)- Latent Diffusion Models는 이미지 생성에서 효율성과 품질을 모두 고려한 방법을 말합니다. - 이때 두 가지 주요 학습 단계를 거치게 되는데, "Semantic Compression"과 "Perceptual Comperssion"입니다. 1) Semantic Compression * Semantic Compression은 데이터를 추상적인 형태로 표현하여 그 핵심적인 의미를 인코딩하는 단계로, 원래 이미지가 가지고 있는 맥락이나 구조를 최대한 보존하면서도 세부적인 요소는 생략하는 방식을 말합니다. * 이 단계에서 이미지의 중요한 특징을 학습하며, 이미지의 전반적인 의미를 유지하는 방향으로 압축을 합니다. 2) Percept.. 2024. 11. 13. [딥러닝 with Python] 디퓨전 모델(Diffusion Model) (3) / Classifier Guidance 이번에 알아볼 내용은 Diffusion Model에서 샘플생성 과정에서 생성된 데이터가 특정 클래스에 속하도록 유도하기 위해 분류기(Classifier)의 정보를 활용하는 방법인 Classifier Guidance 입니다. 1. Classifier Guidance- Diffusion 모델 자체는 기본적으로 생성할 데이터의 클래스가 정보가 없는 상태로 학습되지만, 특정 클래스를 제어하며 샘플을 생성하고자 할 때는 분류기의 예측 결과를 활용할 수 있습니다. - Classifier Guidance의 주요 아이디어는 Classifier의 출력을 통해 조건부 확률을 변경하는 것입니다. * 즉, 특정 클래스 y에 대해 가이드된 샘플 xt는 다음과 같은 과정을 통해 얻어지는데* 이 Gradient를 이용해 타임스.. 2024. 11. 12. [딥러닝 with Python] 디퓨전 모델(Diffusion Model) (2) DDIM 이번에는 지난번에 알아본 DDPM에 이어서 DDIM에 대해서 알아보겠습니다.[딥러닝 with Python] 디퓨전 모델 (1) (Diffusion Model) : DDPM 1. DDIM (Denoising Diffusion Implicit Models)- DDIM은 지난번 알아본 DDPM과는 다르게 Markovian process를 가정하고 있지 않습니다. - 기존 DDPM에서는 각 단계에서 이전 단계만을 참조하여 다음 단계로 이동하기에 단계별 의존 관계가 단순화된다는 문제가 있습니다. - 이에 따라 Non-Markovian Process를 제시하고 있는데, 이전 단계뿐만 아니라 여러 단계에 걸쳐 의존성을 가질 수 있다는 것을 고려하고 있으며 이런 식으로 각 단계가 직전 단계만 참고하는 대신, 여러 .. 2024. 11. 11. [딥러닝 with Python] 디퓨전 모델 (1) (Diffusion Model) : DDPM 이번에는 지난 번 알아봤었던 생성 모델들 (GAN, VAE, Flow-based models) 보다 더 좋은 성능을 보여주며 최근에 많이 활용되고 있는 디퓨전 모델(Diffusion Model)에 대해서 알아보겠습니다.[딥러닝 with Python] GAN (Generative Adversarial Network)[딥러닝 with Python] VAE (Variational Auto Encoder) 개념 정리[딥러닝 with Python] 노멀라이징 플로(Normalizing Flow) [딥러닝 with Python] 노멀라이징 플로(Normalizing Flow)[본 포스팅은 "만들면서 배우는 생성 AI 2판" 을 참조했습니다] 이번에 알아볼 모형은 노멀라이징 플로(Normalizing Flow) 입니.. 2024. 11. 10. 이전 1 다음 반응형
