반응형 Knowledge Distillation3 Mean Teacher란? 이번에는 Mean Teacher에 대해서 알아보도록 하겠습니다. 이는 지식증류(Knowledge Distillation)를 기반으로 한 semi supervised learning의 방법 중 하나입니다. 즉, 지식증류 방법을 semi supervsied learning에 사용할때 사용한 방법 중 하나로 생각하면 되는데요. 1. Mean Teacher란? - "Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results"(A Tarvainen ,2017) 라는 논문에서 제시한 방법으로, semi supervised learning 의 성능을 향상시키기 위.. 2024. 1. 28. [딥러닝 with 파이썬] Knowledge Distillation이란? 딥러닝 모델의 지식 증류기법이란? (2/2) (MNIST 데이터 사용) 이번에는 지난 시간에 Knowledge Distillation의 개념에 대해서 알아본 것에 이어서, 파이썬 코딩을 통해서 Knowledge Distillation을 구현해보겠습니다. 1. 파이썬 코드를 통해 구현하는 Knowledge Distillation - MNIST 데이터 분류 - 이번 코드 작성간에는 Knowledge Distillation 구현 간, MNIST 데이터를 활용하여 분류 성능을 확인해보겠습니다. - MNIST 데이터에 대한 설명은 아래 포스팅을 참조하시면 되겠습니다. [딥러닝 with 파이썬] GAN (Generative Adversarial Networks) / 생성적 적대 신경망 / MNIST 데이터로 구현 [딥러닝 with 파이썬] GAN (Generative Adversari.. 2023. 10. 12. [딥러닝 with 파이썬] Knowledge Distillation이란? 딥러닝 모델의 지식 증류기법이란? (1/2) 이번에는 Knowledge Distillation(지식 증류)이라는 기법에 대해서 알아보겠습니다. 1. Knowledge Distillation(지식 증류)란? - Knowledge Distillation, 우리말로 지식 증류란, 딥러닝 분야에서 큰 모델(Teacher model)의 지식을 작은 모델(Student model)로 전달하여 작은 모델의 성능을 향상시키는 방법론을 말합니다. - 이는 NIPS 2014에서 제프리 힌튼, 오리올 비니알스, 제프 딘 세사람의 이름으로 제출된 "Distillting the Knowledge in a Neural Network"라는 논문에서 등장한 개념입니다. - Knowledge Distillation이 등장하게 된 배경은 다음과 같습니다. * 인공신경망 기반의 모.. 2023. 10. 11. 이전 1 다음 반응형
