반응형 rnn2 [딥러닝 with Python] LSTM (Long Short Term Memory) [본 포스팅은 "만들면서 배우는 생성 AI 2판"을 참조로 작성했습니다] 이번에 알아볼 모형은 자기회귀 모델의 대표적인 모형인 LSTM입니다. LSTM은 Long Short Term Memory의 줄임말로 기존의 순환 신경망(RNN)이 시퀀스(Sequence)가 긴 데이터에는 잘 맞지 않는다는 문제를 해결하기 위해 등장한 네트워크 입니다. 해당 LSTM은 시계열 예측, 감성 분석, 오디오 분류 등 순차 데이터와 관련된 다양한 문제에 적용되고 있는 여전히 실용성이 높은 모델 중 하나입니다. LSTM에 대해서 알아보기 전, 텍스트 데이터와 이미지 데이터 간의 차이점에 대해서 알아보도록 하겠습니다. 텍스트 데이터와 이미지 데이터의 차이점 1) 텍스트 데이터는 개별적인 데이터 조각(문자나 단어)으로 구성되.. 2024. 6. 6. [개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니다. 이를 통해 모델은 입력 시퀀스의 특정 부분에 주목(Attention) 할 수 있는 것입니다. - 이것을 Encoder - Decoder의 관점으로 본다면, Decoder에서 출력값을 예측하는 시점마다 Encoder에서의 전체 입력값을 다시 한번 참고하는 것을 말합니다. - 이 어텐션 메커니즘은 기존 자연어 처리에서 RNN 기반의 Encoder 와 Deocder 구조간의 정보 전달간, Hidden State의 전달이 원활하지 않았음에서 도출되었는데요. 아래 그림은 RN.. 2024. 2. 12. 이전 1 다음 반응형
