반응형 활성화함수2 [딥러닝 with 파이썬] 활성화 함수(Activation Function)란? 이번에는 딥러닝의 기초 중 하나인 활성화 함수에 대해서 알아보도록 하겠습니다. 1. 활성화 함수(Activation Function)란? - 활성화 함수(Activation Function)란, 인공 신경망에서 입력 값의 가중치 합을 출력 신호로 변환하는 함수를 말합니다. - 즉, 입력값들(X)이 신경망에 들어오게되면 먼저 가중치(W)가 곱해지고 편향(b)이 더해져 선형 결합(W*X + b)이 이루어지고 이 선형 결합 된 값이 특정 함수를 거쳐 출력값으로 나오게 되는데, 이때 사용되는 특정 함수를 활성화 함수(Activation Function)라고 합니다. - 이 함수가 활성화 함수로 불리는 이유는, 입력 신호에 대한 가중치 합은 결국 선형 결합인데 이 결과물을 비선형으로 변환하여 뉴런을 화성화 시키기.. 2023. 10. 10. [딥러닝 with 파이썬] PReLU란? Parametric ReLu란? (활성화함수, Activation Function) 이번에 알아볼 것은 PReLU입니다. 활성화 함수의 한 종류로서, ReLU의 변형 형태인데요. PReLU가 어떤 특징과 장점이 있길래 사용되는지 한번 알아보겠습니다. 1. ReLU란? - PReLU에 대해서 알아보기 전에 먼저 ReLU에 대해서 알아보겠습니다. 앞서 설명드렸던 PReLU는 ReLU의 변형함수 형태이기 때문이죠 - ReLU란, Rectified Linear Unit으로 딥러닝에서 가장 많이 사용되는 활성화 함수 중 하나입니다. - 이는, 입력이 0보다 크면 입력을 그대로 출력하고, 0보다 작으면 0을 출력하는 함수인데요. 이를 수식으로 정의하면 아래와 같습니다. * ReLU(x) = max(0,x) - 그래프로 표현해보면 아래와 같습니다. - ReLU의 함수는 다음과 같은 특징을 가지고 있.. 2023. 10. 3. 이전 1 다음 반응형
