반응형 batch normalization2 [개념정리] Layer Normalization 이번에 알아볼 개념은 RNN, Transformer 계열 처럼 순차적인 데이터를 다루는 구조에서 활용하는 Layer Normalization에 대해서 알아보겠습니다. 1. Layer Normalization이란 - Layer Normalization은 각 레이어의 입력을 정규화하여 학습 중에 파라미터가 빠르고 안정적으로 수렴하도록 해주는 방법을 말합니다. - 이는, 각 샘플 내에서 feature (또는 Channel)의 차원에 대해 정규화를 수행합니다. 즉, 한 샘플 내의 모든 feature를 통틀어서 평균과 분산을 계산하는 것을 말하는데요 * Sequential 데이터의 경우 feature는 시간 축에 의해 변화되는 특정한 값을 나타내므로 정규화를 하는데 개념상 무리가 없습니다. 2. Batch Nor.. 2024. 2. 15. Normalization / Batch Normalization / Layer Normalization 이번에 알아볼 내용은 Normalization / Batch Normalization / Layer Normalization이다. 1. Normalization - Normalization 이란, 우리말로 정규화 이다. - 이는 데이터의 범위를 특정 범위 또는 규칙에 따라 조정하는 과정을 말하는 것이다. - 대표적으로는 데이터의 최소값을, 최대값을 1로 변환하여 데이터의 분포를 조정하는 방법이 있다. - Normalization을 하는 이유는 1) 데이터의 스케일을 조정하여 분석 또는 처리가 용이하게 만들고 2) 다양한 단위나 범위를 가진 데이터를 일관된 형태로 변환하며 3) 학습 알고리즘이 더 빠르고 효과적으로 수렴하도록 도와주고 4) 데이터 내 특징(feature) 간의 상대적 중요도를 균등화하기 위.. 2024. 1. 27. 이전 1 다음 반응형
