반응형 분류 전체보기165 [딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (1/2) 이번에는 지난 시간에 알아본 트랜스포머를 Vision Task에 적용한 Vision Transformer에 대해서 알아보겠습니다. 해당 포스팅은 " AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(ICLR 2021 / Dosovitskiy et al)" 논문을 참조했습니다. 1. 비전 트랜스포머 (Vision Transformer)( 들어가기 전 : Attention과 Self-Attention을 비교해보자면, Attention의 경우 Query는 디코더로부터, Key와 Value는 인코더로부터 나와서 Attention 연산을 진행했다면, Self Attention은 Query, Key, Value 모두 인코더로부터 .. 2024. 11. 7. [업무자동화 with Python] OCR (Optical Character Recognition) 이번에는 OCR을 파이썬으로 수행하는 방법에 대해서 알아보겠습니다. 재현성을 위해 코드는 코랩에서 실행하였습니다. 1. 파이썬을 활용한 OCR- 이번 실습을 위해 사용할 라이브러리는 pytesseract입니다. - 다양하고 보다 심도 있는 사용법을 위해서는 아래 github를 참조하시면 되겠습니다.https://github.com/madmaze/pytesseract GitHub - madmaze/pytesseract: A Python wrapper for Google TesseractA Python wrapper for Google Tesseract. Contribute to madmaze/pytesseract development by creating an account on GitHub.github... 2024. 11. 6. [딥러닝 with Python] 트랜스포머 (Transformer) 이번에는 트랜스포머(Transformer) 모델에 대해서 알아보겠습니다. 너무나 유명한 논문이죠 "Attnetion is All You Need"를 바탕으로 포스팅을 구성해보았습니다. 1. Transformer- 2017년 NeurIPS에 발표된 논문 "Attention is All You Nedd"에서 제안한 아키텍처의 이름인 Transformer입니다. - 해당 모델은 어텐션(정확히는 Multi Head Self Attention)을 활용해서 모델의 성능 및 학습/추론 속도를 향상 시킨 아키텍처입니다. 해당 논문은 자연어 처리(NLP)에서 나오게 되었지만, 이를 바탕으로 다양한 Sequential data의 처리 및 이미지 데이터에서도 트랜스포머를 기반으로한 모델들이 나오게 되었으며, 그 유명한 GP.. 2024. 11. 5. [딥러닝 with Python] 어텐션 (Attention Mechanism) 이번에는 지난 시간에 알아본 Seq2Seq 모델의 단점 중 하나인 Encoder를 통해 Bottleneck을 활용해 압축된 정보를 Decoder를 통해 내보내는 것은 long sentences에서는 성능 약화의 요인이 되는 점을 극복하기 위해 활용하고 있는 Attention Mecahnism에 대해서 알아보겠습니다. [딥러닝 with Python] 순환 신경망(Recurrent Neural Network) 1. Attention Mechanism이란?- 앞서 언급했듯 Attention은 Seq2Seq에서 Long sentences에서 발생하는 정보 손실 문제로 인해 나오게 되었습니다.- Attention 이란, 기계어 번역에서 큰 성능 향상을 가져온 방법으로, 이는 모델이 Output을 만들때 Input.. 2024. 11. 4. 이전 1 ··· 7 8 9 10 11 12 13 ··· 42 다음 반응형
