반응형 트랜스포머 파이썬코드1 [딥러닝 with Python] 파이썬 코드로 구현해보는 트랜스포머 이번에는 트랜스포머에 대해서 파이썬 코드로 하나씩 구현해가면서 결과를 확인해보겠습니다. 1. 트랜스포머(Transformer)먼저 트랜스포머(Transformer)에 대해 간략하게 알아보겠습니다. - 트랜스포머는 자연어 처리에서 혁신적인 변화를 준 모델로, "Attention is All you need"라는 논문에 소개된 딥러닝 구조를 말합니다.- 특히, 번역, 요약, 문장 생성 등 다양한 태스크에서 굉장히 뛰어난 성능을 보였으며, 이를 활용해서 이미지처리 분야에서는 Vision Transformer라는 모델이 나와 기존의 CNN구조의 모델들의 성능을 압도할 정도로 중요한 역할을 해내고 있습니다.- 특히, 트랜스포머는 Multi-head self attention을 활용해서 기존 RNN 기반의 순차적인.. 2024. 7. 29. 이전 1 다음 반응형
