반응형 배치정규화2 [개념정리] Layer Normalization 이번에 알아볼 개념은 RNN, Transformer 계열 처럼 순차적인 데이터를 다루는 구조에서 활용하는 Layer Normalization에 대해서 알아보겠습니다. 1. Layer Normalization이란 - Layer Normalization은 각 레이어의 입력을 정규화하여 학습 중에 파라미터가 빠르고 안정적으로 수렴하도록 해주는 방법을 말합니다. - 이는, 각 샘플 내에서 feature (또는 Channel)의 차원에 대해 정규화를 수행합니다. 즉, 한 샘플 내의 모든 feature를 통틀어서 평균과 분산을 계산하는 것을 말하는데요 * Sequential 데이터의 경우 feature는 시간 축에 의해 변화되는 특정한 값을 나타내므로 정규화를 하는데 개념상 무리가 없습니다. 2. Batch Nor.. 2024. 2. 15. [딥러닝 with 파이썬] 배치(Batch)란? / 배치정규화(Batch Normalization) 이번에 알아볼 것은 딥러닝 학습 간 많이 활용되는 배치(Batch), 그리고 이 배치를 정규화하는 배치정규화(Batch Normalization)에 대해서 알아보겠습니다. 1. 배치(Batch)란? - 배치(Batch)는 "일괄적으로 처리되는 집단" 또는 "한 회분"을 나타내는 단어입니다. - 해당 단어가 기계학습 및 딥러닝 분야에서는, 데이터를 처리하는 기본 단위를 의미합니다. * 즉, 전체 데이터 세트에서 일부분을 하나의 배치(Batch) 라고 표현합니다. * 위 그림처럼 전체 데이터셋의 일부를 Batch로 표현합니다. - 이렇게 전체 데이터를 배치로 나누어서 처리하는 이유는 무엇일까요? * 그것은 바로, 데이터의 크기가 큰 경우 전체 데이터를 하번에 처리할 수 없기 때문입니다. 그래서, 이렇게 배치.. 2023. 10. 29. 이전 1 다음 반응형
