반응형 지식 증류1 [딥러닝 with 파이썬] Knowledge Distillation이란? 딥러닝 모델의 지식 증류기법이란? (1/2) 이번에는 Knowledge Distillation(지식 증류)이라는 기법에 대해서 알아보겠습니다. 1. Knowledge Distillation(지식 증류)란? - Knowledge Distillation, 우리말로 지식 증류란, 딥러닝 분야에서 큰 모델(Teacher model)의 지식을 작은 모델(Student model)로 전달하여 작은 모델의 성능을 향상시키는 방법론을 말합니다. - 이는 NIPS 2014에서 제프리 힌튼, 오리올 비니알스, 제프 딘 세사람의 이름으로 제출된 "Distillting the Knowledge in a Neural Network"라는 논문에서 등장한 개념입니다. - Knowledge Distillation이 등장하게 된 배경은 다음과 같습니다. * 인공신경망 기반의 모.. 2023. 10. 11. 이전 1 다음 반응형
