반응형 gelu활성화함수1 [딥러닝 with Python] GELU란?(Gaussian Error Linear Unit) 이번에 알아볼 것은 활성화 함수로 활용되는 GELU에 대해서 알아보겠습니다. 1. GELU란?- GELU는 Gaussian Error Linear Unit의 줄임말로, 딥러닝에서 활용되는 비선형 활성화 함수 중의 하나입니다. - 기존 활성화함수인 ReLU나 Sigmoid에 비해 더 부드럽게 동작한다고 얘기할 수있는데요. 이는, 큰 값일수록 활성화 될 확률이 높고, 작은 값일수록 활성화될 확률이 낮아지는 형태를 취하기 때문입니다. - GELU를 활용해서 좋은 성능을 보인 대표적 모델은 BERT가 되겠습니다. - GELU의 공식은 아래와 같습니다. - 이를 조금 더 간단히 근사해보면 아래와 같습니다. - 그렇다면, 이 함수가 어떤 형태를 띄는지 2차원에서 시각화해보도록 하겠습니다.* 파이썬을 활용해서 함.. 2024. 10. 27. 이전 1 다음 반응형
