반응형 swish1 [개념정리] SiLU(Sigmoid Linear Unit) 활성화 함수 이번에 알아볼 내용은 활성화 함수 중 최근 모델들에 많이 사용되는 SiLU에 대해서 알아보겠습니다. 1. SiLU (Sigmoid Linear Unit) SiLU(Sigmoid Linear Unit, 또는 Swish로도 알려졌습니다)는 인공 신경망의 활성화 함수 중 하나로 아래와 같이 정의 됩니다. 여기서 σ(x) 는 Sigmoid 함수를 의미합니다. 즉, SiLU는 입력값인 x와 sigmoid 함수의 출력을 곱한 것을 최종 출력으로 도출하는 함수입니다. 이를 직관적으로 생각해보면, 부분적인 스케일링(Scaling)을 하는 것으로 보이는데요. 즉, 위 그림에서 보이듯 sigmoid 함수는 0과 1사이의 값을 도출하기 때문에,입력값 x가 양수일때 x의 크기를 유지하면서 점진적으로 축소시키고, x가 .. 2024. 10. 12. 이전 1 다음 반응형
