반응형 분류 전체보기231 [딥러닝 with Python] 인공신경망(Artificial Neural Network / ANN), 데이터 증강(Data Augmentation) 1. 인공신경망(Artificial Neural Network / ANN)1) 인공 신겨망의 개념 - 인공신경망이란, 의미있는 표현(Respresentation)들을 도출할 수 있는 여러 층들을 활용해 주어진 데이터로부터 Representation을 배우는 네트워크로, 사람의 뇌의 구조에 영감을 받아서 만들어진 네트워크입니다. - 깊은 층(Deep layers)들을 활용해 복잡한 표현들을 학습해낼 수 있으며 - 특히, ReLU와 같은 비선형함수들을 활용해 비선형적인 표현들까지도 학습할 수 있는 구조입니다. 2) ANN의 구성 - 어떻게 연결할 것인가? * Dense layer(일반적인 MLP) / Convolutional (Convolutional kernel 등), Recurrent(RNN 및 해.. 2024. 11. 1. [개념 정리] Linear probing이란? 이번에는 인공지능 논문을 볼때 주로 나오는 용어 중 하나인 Linear Probing입니다. 1. Linear probing이란?- Linear Probing은 사전 학습된 모델(Pretrained Model)의 Representation을 분석하거나, 특정 작업에 대한 학습된 특성의 일반화 성능을 평가하는데 사용되는 기법을 말합니다. - 즉, 사전 학습된 모델의 중간 레이어에서 나온 특징을 고정(Frozen)하고, 새로운 선형 분류기를 학습해 해당 특징의 유용성을 평가하는 방식을 말합니다. - Linear Probing은 다음과 같이 이루어집니다.1) Featrue extraction : 사전 학습된 모델(BERT, ResNet 등)의 중간 레이어에서 특징 벡터(Representation)을 추출합니.. 2024. 10. 31. [개념정리] ELBO란? Evidence Lower Bound란? 이번에 알아볼 것은 Variational Auto Encoder에서 중요한 역할을 하는 개념 중 하나인 ELBO에 대해서 알아보겠습니다. 1. ELBO란? Evidence Lower Bound란?- ELBO는 학습 데이터의 log likelihood를 최대화하기 위해 사용되는 최적화 목적함수 중 하나입니다. - ELBO는 입력 데이터 x에 대한 잠재 변수 z가 있는 모델에서 log likelihood 인 logp(x)를 직접 계산하기 어려운 경우, 이를 대신해서 최적화하는 하한(Lower Bound)를 제공해줍니다. - ELBO의 유도(Derivation)에 대해 알아본다면, 다음과 같이 데이터 x의 loglikelihood인 logp(x)를 approximate하는 상황을 가정해보겠습니다. - 이 적.. 2024. 10. 30. [개념 정리] 스케쥴러란? Scheduler (딥러닝 학습) 이번에 알아볼 건 스케쥴러입니다. 1. 딥러닝에서 스케쥴러(Scheduler)란?- 스케쥴러는 학습률(Learning Rate)을 시간 또는 학습단계에 따라 변화시키는 전략을 말합니다.- 학습률이란 것은, 딥러닝에서 데이터를 학습할 때 가중치를 업데이트하는 속도를 결정하는 중요한 하이퍼파라미터로 보통은 하나의 값으로 고정하기도 합니다. - 이때 스케쥴러는 학습률을 단일 값으로 고정하지 않고 학습 단계에 따라 변화시키는 것을 스케쥴링 하기에 Scheduler라고 불린다고 생각하면 되겠습니다. - 모델이 처음 학습을 시작할 때는 큰 학습률을 사용해 빠르게 최적점에 접근하고, 이후 학습률을 점차 낮추면서 더 세밀한 조정을 할 수 있도록 설계가 되는 것입니다. - 이를 활용하면 다음과 같은 이점을 얻을 수 있.. 2024. 10. 29. 이전 1 ··· 25 26 27 28 29 30 31 ··· 58 다음 반응형