본문 바로가기
반응형

전체 글165

[개념정리] Self attention / 셀프 어텐션 [개념정리] 어텐션(Attention)이란 [개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니 jaylala.tistory.com 이전 포스팅에서 알아봤던 것처럼, 어텐션(Attention)이란 개념을 통해 기존의 RNN 계열 모델들에서 Encdoer의 hidden states가 Decoder로 충분히 전달되지 않는 문제를 해결 할 수 있었습니다. 그 이후, RNN 계열의 모델 없이 Attention만을 가지고 언어 모델을 만든 것이 바로 Transformer 입니다. * RNN.. 2024. 2. 13.
[개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니다. 이를 통해 모델은 입력 시퀀스의 특정 부분에 주목(Attention) 할 수 있는 것입니다. - 이것을 Encoder - Decoder의 관점으로 본다면, Decoder에서 출력값을 예측하는 시점마다 Encoder에서의 전체 입력값을 다시 한번 참고하는 것을 말합니다. - 이 어텐션 메커니즘은 기존 자연어 처리에서 RNN 기반의 Encoder 와 Deocder 구조간의 정보 전달간, Hidden State의 전달이 원활하지 않았음에서 도출되었는데요. 아래 그림은 RN.. 2024. 2. 12.
[논문리뷰] DeepLabV3+ / 이미지 분할(Image Segmentation) 이번에 알아볼 모델은 DeepLabV3+입니다. DeepLabV3+는 "Encoder-Decoder with Atrous Seperable Convolution for Semantic Image Segmentation(2018)"이라는 논문에서 나온 모델입니다. 1. DeepLab 모델 - DeepLab은 V1부터 V2, V3, V3+ 까지 발전된 모델인데요. 버전을 거듭하면서 아래와 같은 내용들이 주요 특징이 되겠습니다.. a) DeepLabV1 : Atrous Convolution(Dilated Convolution)을 적용 [개념정리] Dilated Convolution과 Separable Convolution [개념정리] Dilated Convolution과 Separable Convolution.. 2024. 2. 10.
[개념정리] 인공지능에서 임베딩이란 / Embedding 이번에 알아볼 내용은 embedding에 대해서 입니다. 인공지능에서 임베딩, embedding에 대해 많이 다루고 있는데 이에 대해 정확한 개념을 잡지 못해 이번 기회에 정리해보려고 합니다. 1. Embedding이란? 임베딩이란? - 임베딩이란, 고차원 데이터를 저차원의 공간으로 표현하는 것을 말합니다. 이 과정은 데이터의 중요한 특성이나 구조를 유지하면서, 데이터를 더 쉽게 처리하고 분석하며, 시각화할 수 있도록 도와주는데요 * 여기서 차원 축소를 위해 사용되는 PCA(Principal Component Analysis)도 일종의 임베딩으로 볼 수도 있습니다. 하지만, 그 목적에는 조금 차이가 있습니다.(임베딩은 데이터의 특성을 캡처하기 위해 사용되고, PCA는 데이터의 주성분을 찾아내 차원을 축소.. 2024. 2. 9.
[개념정리]Fully Connected CRFs란? 이번에 다룰 내용은 Fully Connected CRF입니다. 여기서 CRF란, Conditional Random Field의 약자로, 이미지 Segmentation task에도 사용되는 확률적인 모델을 의미합니다. 1. Computer Vision에서 CRF란? - Computer Vision task에서 CRF는, 이미지의 각 픽셀이 특정 클래스에 속할 확률을 계산하여 최종 Segmentaion 결과를 도출하는 것을 말합니다. - CRF는 은 아래와 같은 특징을 가지고 있습니다. a) 그래프 기반의 모델(GNN)로써, Node와 Edge로 구성됩니다. Node는 관측된 변수(예: 이미지 픽셀 등)을 나타내며, 엣지는 노드 간의 상호작용을 나타냅니다. b) 확률적 모델로써, 랜덤 변수들 간의 조건부 확.. 2024. 2. 7.
[개념정리] ASPP란? Atrous Spatial Pyramid Pooling 이란? 이번에 알아볼 것은 Atrous Spatial Pyramid Pooling 입니다. 해당 개념을 이해하기 위해선 Atrous Convolution(Dilated Convolution)에 대한 개념이 선행되어야 하며 이를 위해선 아래 포스팅을 참조하시면 좋습니다. [개념정리] Dilated Convolution과 Separable Convolution 1. Atrous Spatial Pyramid Pooling이란? - Atrous Spatial Pyramid Pooling은 이미지의 다양한 크기와 해상도의 정보를 효과적으로 수집하고 활용하는데 도움을 주는 기법으로, 이름에서도 알 수 있듯 다양한 dilation rate을 가진 dilated kernel을 활용해 이를 pyramid의 형식처럼 stacki.. 2024. 2. 6.
[개념정리] Dilated Convolution과 Separable Convolution 1. Dilated Convolution - Atrous convolution이라고도 불리는 Dilated convolution은 우리말로 확장 합성곱이라고 불립니다. - 이는 Convolution 커널 내부의 간격을 늘리는 방법으로, 간격을 dilation rate라고 부르며 이를 조절하여 적용합니다. - 위 그림의 예시를 통해 이해해보면 * 아래 파란색 이미지가 입력이미지이고, 이때 일반적인 convolution과는 다르게 중간이 비어있는(또는 건너 띄어진) 부분이 있는 것을 볼 수 있습니다. 즉, 입력 이미지의 중간 중간 부분을 건너 띄어서 인식하는 방법을 의미합니다. - Dilation convolution을 활용하면, 더 넓은 수용영역(Receptive field)를 가지게 되며 더 많은 Glo.. 2024. 2. 5.
[개념 정리] CNN에서 수용영역이란? Receptive field란? 이번에 알아볼 내용은 Receptive field입니다. 우리 말로는 수용영역이라고 하는데요 1. Receptive Field란?(수용영역이란) - Receptive field, 수용 영역은컨볼루션 신경망(CNN)에서 출력 레이어의 뉴런 하나에 영향을 미치는 입력 뉴런들의 공간크기를 의미합니다. 즉, 각 뉴런이 '보고' 처리하는 입력 이미지의 영역이라고 볼 수 있습니다. - CNN에서 한 뉴런의 Receptive field는 커널(필터)의 크기와 stride에 의해서 결정이 됩니다. 커널의 크기가 크거나 또는 Stride가 크게 되면 해당 커널이 처리할 수 있는 이미지의 부분이 커지므로, 이는 곧 Receptive field가 커지는 것을 의미합니다. Receptive field의 크기에 따른 의미는 다.. 2024. 2. 4.
반응형

티스토리툴바