반응형 전체 글165 [딥러닝 with Python] GAN (Generative Adversarial Network) 이번에는 간략하게 생성 모델 중 하나인 GAN에 대해서 리뷰해보고자 합니다. 1. GAN (Generative Adversarial Network)- 일반적인 분류 모델은 아래 그림과 같이 Input 이미지를 넣어서 Latent 상에 feature map들을 만들고 그 feature map의 정보를 압축해서 Dense Layer 통해 분류 결과를 만듭니다. - 이에 반해, 생성 모델은 이미 생성되어있는 Latent를 활용해서 원본과 유사한 또는 새로운 결과물을 만들어 내는 것입니다. - GAN은 설명드린 생성 모델 중 하나입니다. GAN은 Geneartor와 Discriminator의 싸움으로도 표현이 되는데요* Generator는 실제와 같이 착각하게 만들 수 있는 fake 이미지를 만들기 위해 노.. 2024. 11. 9. [딥러닝 with Python] Vision Transformer(ViT) 파이썬 코드 구현(파이토치 / 코랩) 이번에는 지난번 알아본 Vision Transformer(ViT)의 개념을 바탕으로 파이토치에 기반한 코드를 작성해보고자합니다. [딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (1/2) [딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (1/2)이번에는 지난 시간에 알아본 트랜스포머를 Vision Task에 적용한 Vision Transformer에 대해서 알아보겠습니다. 해당 포스팅은 " AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(ICLR 2021 / Dosovitjaylala.tistory.com[딥러닝 with Pyt.. 2024. 11. 8. [딥러닝 with Python] Segment Anything / Segment Anything Model(SAM) 이번에는 Image Segmentation에서 Foundation 모델로 각광을 받고 있는 Segment Anything 논문에 대해서 리뷰해보겠습니다. 본 포스팅은 "Segment Anything" 논문을 참고하였습니다. 1. Segment Anything Model (SAM)- 해당 논문은 Image Segmentation에서 활용할 수 있는 Foundation model을 만들고자 하는 생각으로 시작하였습니다. - 이때 3가지의 Main question이 있는데 1) 어떤 작업을 통해 Foundation 모델을 학습 시켰을때, 일반화된 Zero shot이 가능한가? 2) 모델의 아키텍처는 어떻게 구성해야 할 것인가? 3) 어떤 데이터를 활용해야 할 것인가? 입니다. - 먼저 Task로는 Promp.. 2024. 11. 8. [딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (2/2) 지난 포스팅에서 최초 제시된 ViT에 대해서만 알아보았다면, 이번에는 ViT의 활용 가능성에 대해서 알아보겠습니다.[딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (1/2) 1. ViT vs ResNets- ViT 이전에는 이미지 관련 Task에서 기본 Backbone 네트워크로 주로 ResNets을 활용했었는데요. - 아래 그림처럼 데이터 셋의 크기가 3억장이 넘는 데이터로 학습이 되어야지 비로서 ResNets의 성능을 이길 수 있게 되었습니다. ViT 모델의 크기도 가장 큰 버전인 Huge를 활용해서야 말이죠 - 그래서 이러한 ViT를 잘 활용해보기 위해 ImageNet-1K 데이터만을 가지고 Regularization과 Data Augmentati.. 2024. 11. 8. [딥러닝 with Python] 비전 트랜스포머(Vision Transformer / ViT) (1/2) 이번에는 지난 시간에 알아본 트랜스포머를 Vision Task에 적용한 Vision Transformer에 대해서 알아보겠습니다. 해당 포스팅은 " AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(ICLR 2021 / Dosovitskiy et al)" 논문을 참조했습니다. 1. 비전 트랜스포머 (Vision Transformer)( 들어가기 전 : Attention과 Self-Attention을 비교해보자면, Attention의 경우 Query는 디코더로부터, Key와 Value는 인코더로부터 나와서 Attention 연산을 진행했다면, Self Attention은 Query, Key, Value 모두 인코더로부터 .. 2024. 11. 7. [업무자동화 with Python] OCR (Optical Character Recognition) 이번에는 OCR을 파이썬으로 수행하는 방법에 대해서 알아보겠습니다. 재현성을 위해 코드는 코랩에서 실행하였습니다. 1. 파이썬을 활용한 OCR- 이번 실습을 위해 사용할 라이브러리는 pytesseract입니다. - 다양하고 보다 심도 있는 사용법을 위해서는 아래 github를 참조하시면 되겠습니다.https://github.com/madmaze/pytesseract GitHub - madmaze/pytesseract: A Python wrapper for Google TesseractA Python wrapper for Google Tesseract. Contribute to madmaze/pytesseract development by creating an account on GitHub.github... 2024. 11. 6. [딥러닝 with Python] 트랜스포머 (Transformer) 이번에는 트랜스포머(Transformer) 모델에 대해서 알아보겠습니다. 너무나 유명한 논문이죠 "Attnetion is All You Need"를 바탕으로 포스팅을 구성해보았습니다. 1. Transformer- 2017년 NeurIPS에 발표된 논문 "Attention is All You Nedd"에서 제안한 아키텍처의 이름인 Transformer입니다. - 해당 모델은 어텐션(정확히는 Multi Head Self Attention)을 활용해서 모델의 성능 및 학습/추론 속도를 향상 시킨 아키텍처입니다. 해당 논문은 자연어 처리(NLP)에서 나오게 되었지만, 이를 바탕으로 다양한 Sequential data의 처리 및 이미지 데이터에서도 트랜스포머를 기반으로한 모델들이 나오게 되었으며, 그 유명한 GP.. 2024. 11. 5. [딥러닝 with Python] 어텐션 (Attention Mechanism) 이번에는 지난 시간에 알아본 Seq2Seq 모델의 단점 중 하나인 Encoder를 통해 Bottleneck을 활용해 압축된 정보를 Decoder를 통해 내보내는 것은 long sentences에서는 성능 약화의 요인이 되는 점을 극복하기 위해 활용하고 있는 Attention Mecahnism에 대해서 알아보겠습니다. [딥러닝 with Python] 순환 신경망(Recurrent Neural Network) 1. Attention Mechanism이란?- 앞서 언급했듯 Attention은 Seq2Seq에서 Long sentences에서 발생하는 정보 손실 문제로 인해 나오게 되었습니다.- Attention 이란, 기계어 번역에서 큰 성능 향상을 가져온 방법으로, 이는 모델이 Output을 만들때 Input.. 2024. 11. 4. 이전 1 2 3 4 5 6 7 8 ··· 21 다음 반응형
