반응형 fine tuning2 [딥러닝 with Python] In-Context Learning이란? ICL이란? 이번에 알아볼 내용은 In Context Learning / ICL 에 대해서 알아보겠습니다. 이는 LLM 관련 논문 또는 설명들을 볼때 많이 나오는 개념인데요. 너무 어렵지 않고 직관적으로 이해할 수 있게 정리해보겠습니다. 1. In-Context Learning 이란? (ICL 이란?)- In-Context Learning(ICL)은 LLM이 추가 학습 없이 프로프트 내 정보만으로 태스크를 수행하는 방법을 말합니다. * GPT-4, LLaMA, PaLM 같은 최신 모델에서 활용되며, Fine tuning 없이도 다양한 작업을 수행할 수 있다는 장점을 가진 방법입니다. - ICL은 주어진 프롬프트에서 제공된 데이터를 활용하되, 모델이 사전에 훈련된 가중치를 변경하지 않고도 문맥(Context) 내에서.. 2025. 2. 21. [개념 정리] Linear probing이란? 이번에는 인공지능 논문을 볼때 주로 나오는 용어 중 하나인 Linear Probing입니다. 1. Linear probing이란?- Linear Probing은 사전 학습된 모델(Pretrained Model)의 Representation을 분석하거나, 특정 작업에 대한 학습된 특성의 일반화 성능을 평가하는데 사용되는 기법을 말합니다. - 즉, 사전 학습된 모델의 중간 레이어에서 나온 특징을 고정(Frozen)하고, 새로운 선형 분류기를 학습해 해당 특징의 유용성을 평가하는 방식을 말합니다. - Linear Probing은 다음과 같이 이루어집니다.1) Featrue extraction : 사전 학습된 모델(BERT, ResNet 등)의 중간 레이어에서 특징 벡터(Representation)을 추출합니.. 2024. 10. 31. 이전 1 다음 반응형
