반응형 딥러닝 with Python52 [딥러닝 with 파이썬] Knowledge Distillation이란? 딥러닝 모델의 지식 증류기법이란? (2/2) (MNIST 데이터 사용) 이번에는 지난 시간에 Knowledge Distillation의 개념에 대해서 알아본 것에 이어서, 파이썬 코딩을 통해서 Knowledge Distillation을 구현해보겠습니다. 1. 파이썬 코드를 통해 구현하는 Knowledge Distillation - MNIST 데이터 분류 - 이번 코드 작성간에는 Knowledge Distillation 구현 간, MNIST 데이터를 활용하여 분류 성능을 확인해보겠습니다. - MNIST 데이터에 대한 설명은 아래 포스팅을 참조하시면 되겠습니다. [딥러닝 with 파이썬] GAN (Generative Adversarial Networks) / 생성적 적대 신경망 / MNIST 데이터로 구현 [딥러닝 with 파이썬] GAN (Generative Adversari.. 2023. 10. 12. [딥러닝 with 파이썬] Knowledge Distillation이란? 딥러닝 모델의 지식 증류기법이란? (1/2) 이번에는 Knowledge Distillation(지식 증류)이라는 기법에 대해서 알아보겠습니다. 1. Knowledge Distillation(지식 증류)란? - Knowledge Distillation, 우리말로 지식 증류란, 딥러닝 분야에서 큰 모델(Teacher model)의 지식을 작은 모델(Student model)로 전달하여 작은 모델의 성능을 향상시키는 방법론을 말합니다. - 이는 NIPS 2014에서 제프리 힌튼, 오리올 비니알스, 제프 딘 세사람의 이름으로 제출된 "Distillting the Knowledge in a Neural Network"라는 논문에서 등장한 개념입니다. - Knowledge Distillation이 등장하게 된 배경은 다음과 같습니다. * 인공신경망 기반의 모.. 2023. 10. 11. [딥러닝 with 파이썬] 활성화 함수(Activation Function)란? 이번에는 딥러닝의 기초 중 하나인 활성화 함수에 대해서 알아보도록 하겠습니다. 1. 활성화 함수(Activation Function)란? - 활성화 함수(Activation Function)란, 인공 신경망에서 입력 값의 가중치 합을 출력 신호로 변환하는 함수를 말합니다. - 즉, 입력값들(X)이 신경망에 들어오게되면 먼저 가중치(W)가 곱해지고 편향(b)이 더해져 선형 결합(W*X + b)이 이루어지고 이 선형 결합 된 값이 특정 함수를 거쳐 출력값으로 나오게 되는데, 이때 사용되는 특정 함수를 활성화 함수(Activation Function)라고 합니다. - 이 함수가 활성화 함수로 불리는 이유는, 입력 신호에 대한 가중치 합은 결국 선형 결합인데 이 결과물을 비선형으로 변환하여 뉴런을 화성화 시키기.. 2023. 10. 10. [딥러닝 with Python] SRGAN이란? / Super Resolution GAN (2/2) / 파이썬으로 코딩 [이번 포스팅은 "Must Have 텐초의 파이토치 딥러닝 특강" 의 내용을 참조하여 작성하였습니다] 이번에는 지난 시간에 알아본 SRGAN의 개념을 파이썬 코딩을 통해서 구현해보도록 하겠습니다. 이번 모델 구현 간에는 CelebA라는 데이터셋을 활용할 건데요 1. Celeb A 데이터 셋이란? - Celeb A 데이터 셋은 Celebrity Attributes의 약자로, 해당 데이터 셋은 유명인사들의 얼굴 이미지를 수집하고 주석(annotation)된 정보를 포함하고 있습니다. 이는 약 20만개 이상의 얼굴 이미지(10,177명의 개별인물)가 있으며, 다양한 인물, 표정, 포즈, 조명 조건 등을 포함해 다양한 상황에서 촬영된 이미지를 제공하고 있습니다. 또한, 각 얼굴 이미지에 대해 라벨링 되어 있으며.. 2023. 10. 6. 이전 1 ··· 8 9 10 11 12 13 다음 반응형
