반응형 전체 글87 [개념정리] Layer Normalization 이번에 알아볼 개념은 RNN, Transformer 계열 처럼 순차적인 데이터를 다루는 구조에서 활용하는 Layer Normalization에 대해서 알아보겠습니다. 1. Layer Normalization이란 - Layer Normalization은 각 레이어의 입력을 정규화하여 학습 중에 파라미터가 빠르고 안정적으로 수렴하도록 해주는 방법을 말합니다. - 이는, 각 샘플 내에서 feature (또는 Channel)의 차원에 대해 정규화를 수행합니다. 즉, 한 샘플 내의 모든 feature를 통틀어서 평균과 분산을 계산하는 것을 말하는데요 * Sequential 데이터의 경우 feature는 시간 축에 의해 변화되는 특정한 값을 나타내므로 정규화를 하는데 개념상 무리가 없습니다. 2. Batch Nor.. 2024. 2. 15. [개념정리] 멀티헤드 셀프 어텐션(Multi-Head Self-Attention) 이번에 알아볼 개념은 멀티 헤드 셀프 어텐션(Multi-Head Self Attnetion) 입니다. [개념정리] Self attention / 셀프 어텐션 지난번에 알아봤던, 셀프 어텐션이 조금은 차이나는 방식으로 여러번 적용되었다고 보시면 되겠습니다. 1. 멀티헤드 셀프 어텐션(Multi-Head Self Attention) - 입력 시퀀스의 각 요소가 시퀀스 내 다른 요소들과 어떻게 관련되어 있는지를 알아보는 Self Attention을, 동시에 다양한 방식으로 모델링하는 방법을 말합니다. - 즉, 여러개의 헤드(Head)로 분할하여 병렬로 Self Attention을 수행하는데요 - 이렇게 병렬로 mult-hea를 사용하는 이유는, 여러 부분에 동시에 어텐션을 가할 수 있어 모델이 입력 토큰 간의.. 2024. 2. 14. [개념정리] Self attention / 셀프 어텐션 [개념정리] 어텐션(Attention)이란 [개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니 jaylala.tistory.com 이전 포스팅에서 알아봤던 것처럼, 어텐션(Attention)이란 개념을 통해 기존의 RNN 계열 모델들에서 Encdoer의 hidden states가 Decoder로 충분히 전달되지 않는 문제를 해결 할 수 있었습니다. 그 이후, RNN 계열의 모델 없이 Attention만을 가지고 언어 모델을 만든 것이 바로 Transformer 입니다. * RNN.. 2024. 2. 13. [개념정리] 어텐션(Attention)이란 1. 어텐션(Attention)이란 - 어텐션 메커니즘의 기본 아이디어는 입력 시퀀스(Input sequence)에서 각 단어에 대한 '중요도'를 계산하여, 그 중요도에 기반해 출력 시퀀스(Output Sequence)를 생성하는 것입니다. 이를 통해 모델은 입력 시퀀스의 특정 부분에 주목(Attention) 할 수 있는 것입니다. - 이것을 Encoder - Decoder의 관점으로 본다면, Decoder에서 출력값을 예측하는 시점마다 Encoder에서의 전체 입력값을 다시 한번 참고하는 것을 말합니다. - 이 어텐션 메커니즘은 기존 자연어 처리에서 RNN 기반의 Encoder 와 Deocder 구조간의 정보 전달간, Hidden State의 전달이 원활하지 않았음에서 도출되었는데요. 아래 그림은 RN.. 2024. 2. 12. [논문리뷰] DeepLabV3+ / 이미지 분할(Image Segmentation) 이번에 알아볼 모델은 DeepLabV3+입니다. DeepLabV3+는 "Encoder-Decoder with Atrous Seperable Convolution for Semantic Image Segmentation(2018)"이라는 논문에서 나온 모델입니다. 1. DeepLab 모델 - DeepLab은 V1부터 V2, V3, V3+ 까지 발전된 모델인데요. 버전을 거듭하면서 아래와 같은 내용들이 주요 특징이 되겠습니다.. a) DeepLabV1 : Atrous Convolution(Dilated Convolution)을 적용 [개념정리] Dilated Convolution과 Separable Convolution [개념정리] Dilated Convolution과 Separable Convolution.. 2024. 2. 10. [개념정리] 인공지능에서 임베딩이란 / Embedding 이번에 알아볼 내용은 embedding에 대해서 입니다. 인공지능에서 임베딩, embedding에 대해 많이 다루고 있는데 이에 대해 정확한 개념을 잡지 못해 이번 기회에 정리해보려고 합니다. 1. Embedding이란? 임베딩이란? - 임베딩이란, 고차원 데이터를 저차원의 공간으로 표현하는 것을 말합니다. 이 과정은 데이터의 중요한 특성이나 구조를 유지하면서, 데이터를 더 쉽게 처리하고 분석하며, 시각화할 수 있도록 도와주는데요 * 여기서 차원 축소를 위해 사용되는 PCA(Principal Component Analysis)도 일종의 임베딩으로 볼 수도 있습니다. 하지만, 그 목적에는 조금 차이가 있습니다.(임베딩은 데이터의 특성을 캡처하기 위해 사용되고, PCA는 데이터의 주성분을 찾아내 차원을 축소.. 2024. 2. 9. [개념정리]Fully Connected CRFs란? 이번에 다룰 내용은 Fully Connected CRF입니다. 여기서 CRF란, Conditional Random Field의 약자로, 이미지 Segmentation task에도 사용되는 확률적인 모델을 의미합니다. 1. Computer Vision에서 CRF란? - Computer Vision task에서 CRF는, 이미지의 각 픽셀이 특정 클래스에 속할 확률을 계산하여 최종 Segmentaion 결과를 도출하는 것을 말합니다. - CRF는 은 아래와 같은 특징을 가지고 있습니다. a) 그래프 기반의 모델(GNN)로써, Node와 Edge로 구성됩니다. Node는 관측된 변수(예: 이미지 픽셀 등)을 나타내며, 엣지는 노드 간의 상호작용을 나타냅니다. b) 확률적 모델로써, 랜덤 변수들 간의 조건부 확.. 2024. 2. 7. [개념정리] ASPP란? Atrous Spatial Pyramid Pooling 이란? 이번에 알아볼 것은 Atrous Spatial Pyramid Pooling 입니다. 해당 개념을 이해하기 위해선 Atrous Convolution(Dilated Convolution)에 대한 개념이 선행되어야 하며 이를 위해선 아래 포스팅을 참조하시면 좋습니다. [개념정리] Dilated Convolution과 Separable Convolution 1. Atrous Spatial Pyramid Pooling이란? - Atrous Spatial Pyramid Pooling은 이미지의 다양한 크기와 해상도의 정보를 효과적으로 수집하고 활용하는데 도움을 주는 기법으로, 이름에서도 알 수 있듯 다양한 dilation rate을 가진 dilated kernel을 활용해 이를 pyramid의 형식처럼 stacki.. 2024. 2. 6. 이전 1 2 3 4 5 6 7 ··· 11 다음 반응형
