반응형 트랜스포머5 [딥러닝 with Python] 트랜스포머 (Transformer) 이번에는 트랜스포머(Transformer) 모델에 대해서 알아보겠습니다. 너무나 유명한 논문이죠 "Attnetion is All You Need"를 바탕으로 포스팅을 구성해보았습니다. 1. Transformer- 2017년 NeurIPS에 발표된 논문 "Attention is All You Nedd"에서 제안한 아키텍처의 이름인 Transformer입니다. - 해당 모델은 어텐션(정확히는 Multi Head Self Attention)을 활용해서 모델의 성능 및 학습/추론 속도를 향상 시킨 아키텍처입니다. 해당 논문은 자연어 처리(NLP)에서 나오게 되었지만, 이를 바탕으로 다양한 Sequential data의 처리 및 이미지 데이터에서도 트랜스포머를 기반으로한 모델들이 나오게 되었으며, 그 유명한 GP.. 2024. 11. 5. [딥러닝 with Python] 파이썬 코드로 구현해보는 트랜스포머 이번에는 트랜스포머에 대해서 파이썬 코드로 하나씩 구현해가면서 결과를 확인해보겠습니다. 1. 트랜스포머(Transformer)먼저 트랜스포머(Transformer)에 대해 간략하게 알아보겠습니다. - 트랜스포머는 자연어 처리에서 혁신적인 변화를 준 모델로, "Attention is All you need"라는 논문에 소개된 딥러닝 구조를 말합니다.- 특히, 번역, 요약, 문장 생성 등 다양한 태스크에서 굉장히 뛰어난 성능을 보였으며, 이를 활용해서 이미지처리 분야에서는 Vision Transformer라는 모델이 나와 기존의 CNN구조의 모델들의 성능을 압도할 정도로 중요한 역할을 해내고 있습니다.- 특히, 트랜스포머는 Multi-head self attention을 활용해서 기존 RNN 기반의 순차적인.. 2024. 7. 29. [개념정리] 멀티헤드 셀프 어텐션(Multi-Head Self-Attention) 이번에 알아볼 개념은 멀티 헤드 셀프 어텐션(Multi-Head Self Attnetion) 입니다. [개념정리] Self attention / 셀프 어텐션 지난번에 알아봤던, 셀프 어텐션이 조금은 차이나는 방식으로 여러번 적용되었다고 보시면 되겠습니다. 1. 멀티헤드 셀프 어텐션(Multi-Head Self Attention) - 입력 시퀀스의 각 요소가 시퀀스 내 다른 요소들과 어떻게 관련되어 있는지를 알아보는 Self Attention을, 동시에 다양한 방식으로 모델링하는 방법을 말합니다. - 즉, 여러개의 헤드(Head)로 분할하여 병렬로 Self Attention을 수행하는데요 - 이렇게 병렬로 mult-hea를 사용하는 이유는, 여러 부분에 동시에 어텐션을 가할 수 있어 모델이 입력 토큰 간의.. 2024. 2. 14. [개념정리] Self attention / 셀프 어텐션 [개념정리] 어텐션(Attention)이란 [개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니 jaylala.tistory.com 이전 포스팅에서 알아봤던 것처럼, 어텐션(Attention)이란 개념을 통해 기존의 RNN 계열 모델들에서 Encdoer의 hidden states가 Decoder로 충분히 전달되지 않는 문제를 해결 할 수 있었습니다. 그 이후, RNN 계열의 모델 없이 Attention만을 가지고 언어 모델을 만든 것이 바로 Transformer 입니다. * RNN.. 2024. 2. 13. 이전 1 2 다음 반응형
