반응형 옵티마이저2 [딥러닝 with Python] 옵티마이저(Optimizer)란? 이번에는 딥러닝에서 기본적인 요소이면서 중요한 요소임에도 따로 포스팅으로 다루지 않았었던 옵티마이저(Optimizer) 의 개념에 대해서 간단히 정리해보겠습니다. 옵티마이저는 딥러닝 학습에 매우 중요한 요소이지만, 처음 시작하는 분들께서 "SGD 와 Adam의 차이가 뭘까?" 등의 의문을 가질 수도 있습니다. 이번 포스팅에서는 저도 딥러닝을 처음 공부할때 가졌었던 위와 같은 의문들에 대해서 알기 쉽게 정리해보고자 합니다. 1. 옵티마이저(Optimizer)란?- Optimizer는 Loss Function을 최소화하는 방향으로 가중치를 업데이트하는 알고리즘을 말합니다. - 옵티마이저의 핵심 역할을 * 학습 Loss의 감소 * 학습 가중치(w)의 업데이트 * 학습 속도 & 성능 최적화 의 방향성을 결.. 2025. 2. 19. [딥러닝 with Python] 인공신경망(Artificial Neural Network / ANN), 데이터 증강(Data Augmentation) 1. 인공신경망(Artificial Neural Network / ANN)1) 인공 신겨망의 개념 - 인공신경망이란, 의미있는 표현(Respresentation)들을 도출할 수 있는 여러 층들을 활용해 주어진 데이터로부터 Representation을 배우는 네트워크로, 사람의 뇌의 구조에 영감을 받아서 만들어진 네트워크입니다. - 깊은 층(Deep layers)들을 활용해 복잡한 표현들을 학습해낼 수 있으며 - 특히, ReLU와 같은 비선형함수들을 활용해 비선형적인 표현들까지도 학습할 수 있는 구조입니다. 2) ANN의 구성 - 어떻게 연결할 것인가? * Dense layer(일반적인 MLP) / Convolutional (Convolutional kernel 등), Recurrent(RNN 및 해.. 2024. 11. 1. 이전 1 다음 반응형
