[개념정리] Adaptation methods

 

Adaptation Methods의 몇 가지 종류에 대해서 알아보도록 하겠습니다. 

 

Adaptation methods

 

1.  End-to-end Finetuning

 

-  End-to-end의 뜻은 구글을 검색해보면 다음과 같습니다. A technique where the model learns all the steps between the initial input phase and the final output phase

-  즉, 입력에서 출력까지 중간에 다른 파이프라인 네트워크없이 기존의 신경망으로 한 번에 처리한다는 의미를 가지고 있습니다.

- 여기서 파이프라인 네트워크란, 전체 네트워크를 이루는 부분적인 네트워크를 말합니다.

- 아래 그림을 보면 바로 감이 올 건데요.

- 기존의 Speech Recognition System은 MFCC로 음성 파일의 특징을 추출하고, ML 알고리즘으로 음소를 알아내고, 음소들로 단어를 만든 뒤 단어 출력 같은 복잡한 과정을 거치고 있습니다. 하지만, 여기서 End-to-end learning은 음성 파일을 입력하면 잘 구성된 Learning Algorithm을 통해 바로 출력을 구할 수 있는 것을 말합니다.

       

* 여기서 ML  또는 DL 논문에서 일컫는 End-to-end training은 end-to-end trainable neural network를 뜻하며, 이는 모든 매개변수가 하나의 손실함수에 대해 동시에 훈련되는 경로가 가능한 네트워크를 말합니다.

 

* 기존에 알아보고자 했던 End-to-end finetuning이란 사전에 훈련된 즉, pretrained 된 모델을 가져와서 특정한 작업에 맞게 조정하는 것을 말합니다. 여기서 조정되는 것은 전체 모델의 파라미터를 조정하는 것을 말하며, 일부 네트워크의 파라미터가 학습이 되지 않도록 Freezing 하는 작업을 배재한 것을 말합니다.

 

 

2. Frozen Backbone

-  여기서 말하는 Frozen이란, 모델의 네트워크에 있는 파라미터들이 학습되지 않도록 고정시키는 것을 말하는데요. Backbone은 입력 데이터의 특징(feature)을 추출하기 위한 네트워크를 일컫기도 하며, pretrained model의 핵심 부분입니다. 이렇게 Backbone network를 frozen 시키면 학습이 아닌 단순한 Inference만 일어날 것 같은데요. 기존 Frozen 네트워크에  학습이 가능한(Learnable)추가적인 네트워크를 더하게 되면, Frozen된 네트워크의 지식을 사용하지만 새로운 네트워크가 추가되어 이를 미세조정 하는 과정이 포함되기 때문에 Domain Adaptation적인 측면에서 더 좋은 효과를 발휘하게 됩니다.

 

3. Frozen features with multi layer attention pooler

- 이는 주로 자연어 작업에서 많이 사용되었는데요. 사전에 훈련된 모델의 특징을 의미하는 frozen features를 사용하는데 여기에 multi layer attention pooler를 적용하는 방법을 말합니다.

- Multi layer attention pooler란, 모델의 출력을 요약하는 레이어를 말합니다.

- 즉, frozen features with multi-layer attention pooler는 사전에 훈련된 모델의 특징을 고정시키고, multi-layer attention pooler를 사용하여 모델의 출력을 생성하는 기술을 의미한다고 보면 되겠습니다.