[딥러닝 with Python] RAP(Retrieval-Augmented Pretraining)

 

 RAP(Retrieval Augmented Pretraining)은 인공지능 모델의 성능을 높이기 위해 검색 기반의 정보를 활용해 사전 훈련된 모델의 성능을 극대화하는 방법입니다. 

 

1. RAP(Retrieval-Augmented Pretraining) 이란?

 RAP는 대형 언어 모델(LLM)의 한계를 보완하기 위해 외부 검색 시스템(retriever)을 활용하는 방법입니다. 모델이 사전 훈련된 데이터뿐만 아니라 실시간으로 검색된 정보까지 활용하여 보다 정확한 답변을 생성할 수 있도록 합니다.

 기본적인 RAP의 구조는 다음과 같이 요약할 수 있습니다:

1) Query Encoding: 주어진 입력(query) 를 임베딩 공간으로 변환합니다.
2) Retrieval: 검색 시스템을 활용하여 관련 문서 를 가져옵니다.
3) Augmentation: 검색된 문서 를 원래 입력과 결합하여 모델 입력을 구성합니다.
4) Pretraining: Augmented Input을 기반으로 모델을 학습시킵니다.

 

이를 수식으로 표현하면 아래와 같습니다.

 

 

2. Retrieval Mechanism

- RAP의 핵심은 적절한 정보를 검색하는 능력입니다. 검색 메커니즘은 크게 두 가지 방식으로 나뉩니다:

1) BM25 기반 검색
 * 전통적인 정보 검색 기법인 BM25는 질의와 문서 간의 점수를 기반으로 관련 문서를 찾습니다.
 * BM25 점수는 다음과 같이 정의됩니다

 

2) Dense Retriever 기반 검색

- 신경망 기반 검색 모델은 문서와 질의를 동일한 임베딩 공간에서 비교합니다