반응형 activation function1 [딥러닝 with 파이썬] PReLU란? Parametric ReLu란? (활성화함수, Activation Function) 이번에 알아볼 것은 PReLU입니다. 활성화 함수의 한 종류로서, ReLU의 변형 형태인데요. PReLU가 어떤 특징과 장점이 있길래 사용되는지 한번 알아보겠습니다. 1. ReLU란? - PReLU에 대해서 알아보기 전에 먼저 ReLU에 대해서 알아보겠습니다. 앞서 설명드렸던 PReLU는 ReLU의 변형함수 형태이기 때문이죠 - ReLU란, Rectified Linear Unit으로 딥러닝에서 가장 많이 사용되는 활성화 함수 중 하나입니다. - 이는, 입력이 0보다 크면 입력을 그대로 출력하고, 0보다 작으면 0을 출력하는 함수인데요. 이를 수식으로 정의하면 아래와 같습니다. * ReLU(x) = max(0,x) - 그래프로 표현해보면 아래와 같습니다. - ReLU의 함수는 다음과 같은 특징을 가지고 있.. 2023. 10. 3. 이전 1 다음 반응형
