반응형 전체 글165 [딥러닝 with Python] 순환 신경망(Recurrent Neural Network) 이번에는 순환 신경망(Recurrent Neural Network)에 대해서 알아보겠습니다. 1. 순환 신경망이란?(Recurrent Neural Network)- 순환 신경망은 순서가 있는 데이터를 다루는 아키텍처입니다. * 예를 들어 음악, 소리, 행동에 관련된 순서를 바탕으로 정리된 데이터나 비디오와 같이 시각적인 정보가 순서가 있게 구성된 데이터 등을 다룰때 활용됩니다. - 순환 신경망은 시간적 순서 정보인 Temporal Information 뿐만 아니라, 텍스트, 악보와 같이 공간적인 순서 정보인 Spatial Information도 다루는 신경망 구조 입니다. - 이 구조를 간단히 시각화 및 수식으로 표현해보면 아래와 같습니다. 즉, 기존 상태와 인풋으로 입력된 순서상 다음 상태인 현재 상태.. 2024. 11. 3. [딥러닝 with Python] 합성곱 신경망(Convolutional Neural Network) 1. CNN(Covolutional Neural Networks / 합성곱 신경망) - CNN이란, 이미지나 시계열 데이터를 처리하는 데 뛰어난 성능을 보여주는 딥러닝 구조 중 하나로 * 입력 데이터에 커널을 적용하여 중요한 특징(특히 데이터의 국소적인 패턴을 포착)을 추출하는 합성곱 층(Convolutional Layer)과 * Convolution Filter를 통해 추출된 특성맵을 다운 샘플링하여 계산량을 줄이고, 위치 변화에 강건하게 만드는 Pooling 층 (주로 Max pooling이 활용) * 마지막 부분에 위치하여 합성곱 및 풀링 과정을 통해 추출된 특징을 바탕을 최종 출력을 생성하는 완전 연결층 (Fully Connnected Layer)로 구성되어 있습니다. - 이러한 CNN이 도입된.. 2024. 11. 2. [딥러닝 with Python] 인공신경망(Artificial Neural Network / ANN), 데이터 증강(Data Augmentation) 1. 인공신경망(Artificial Neural Network / ANN)1) 인공 신겨망의 개념 - 인공신경망이란, 의미있는 표현(Respresentation)들을 도출할 수 있는 여러 층들을 활용해 주어진 데이터로부터 Representation을 배우는 네트워크로, 사람의 뇌의 구조에 영감을 받아서 만들어진 네트워크입니다. - 깊은 층(Deep layers)들을 활용해 복잡한 표현들을 학습해낼 수 있으며 - 특히, ReLU와 같은 비선형함수들을 활용해 비선형적인 표현들까지도 학습할 수 있는 구조입니다. 2) ANN의 구성 - 어떻게 연결할 것인가? * Dense layer(일반적인 MLP) / Convolutional (Convolutional kernel 등), Recurrent(RNN 및 해.. 2024. 11. 1. [개념 정리] Linear probing이란? 이번에는 인공지능 논문을 볼때 주로 나오는 용어 중 하나인 Linear Probing입니다. 1. Linear probing이란?- Linear Probing은 사전 학습된 모델(Pretrained Model)의 Representation을 분석하거나, 특정 작업에 대한 학습된 특성의 일반화 성능을 평가하는데 사용되는 기법을 말합니다. - 즉, 사전 학습된 모델의 중간 레이어에서 나온 특징을 고정(Frozen)하고, 새로운 선형 분류기를 학습해 해당 특징의 유용성을 평가하는 방식을 말합니다. - Linear Probing은 다음과 같이 이루어집니다.1) Featrue extraction : 사전 학습된 모델(BERT, ResNet 등)의 중간 레이어에서 특징 벡터(Representation)을 추출합니.. 2024. 10. 31. [개념정리] ELBO란? Evidence Lower Bound란? 이번에 알아볼 것은 Variational Auto Encoder에서 중요한 역할을 하는 개념 중 하나인 ELBO에 대해서 알아보겠습니다. 1. ELBO란? Evidence Lower Bound란?- ELBO는 학습 데이터의 log likelihood를 최대화하기 위해 사용되는 최적화 목적함수 중 하나입니다. - ELBO는 입력 데이터 x에 대한 잠재 변수 z가 있는 모델에서 log likelihood 인 logp(x)를 직접 계산하기 어려운 경우, 이를 대신해서 최적화하는 하한(Lower Bound)를 제공해줍니다. - ELBO의 유도(Derivation)에 대해 알아본다면, 다음과 같이 데이터 x의 loglikelihood인 logp(x)를 approximate하는 상황을 가정해보겠습니다. - 이 적.. 2024. 10. 30. [개념 정리] 스케쥴러란? Scheduler (딥러닝 학습) 이번에 알아볼 건 스케쥴러입니다. 1. 딥러닝에서 스케쥴러(Scheduler)란?- 스케쥴러는 학습률(Learning Rate)을 시간 또는 학습단계에 따라 변화시키는 전략을 말합니다.- 학습률이란 것은, 딥러닝에서 데이터를 학습할 때 가중치를 업데이트하는 속도를 결정하는 중요한 하이퍼파라미터로 보통은 하나의 값으로 고정하기도 합니다. - 이때 스케쥴러는 학습률을 단일 값으로 고정하지 않고 학습 단계에 따라 변화시키는 것을 스케쥴링 하기에 Scheduler라고 불린다고 생각하면 되겠습니다. - 모델이 처음 학습을 시작할 때는 큰 학습률을 사용해 빠르게 최적점에 접근하고, 이후 학습률을 점차 낮추면서 더 세밀한 조정을 할 수 있도록 설계가 되는 것입니다. - 이를 활용하면 다음과 같은 이점을 얻을 수 있.. 2024. 10. 29. [딥러닝 with Python] VAE (Variational Auto Encoder) 개념 정리 이번에는 지난번 개략적인 개념과 코드 실습 위주로 알아봤었던 VAE에 대해서 조금 더 심층 깊게 이해하고자 합니다. [생성 AI] 변이형 오토인코더(Variational Auto Encoder) (1/2) [생성 AI] 변이형 오토인코더(Variational Auto Encoder) (1/2)[해당 포스팅은 "만들면서 배우는 생성 AI 2탄"을 참조했습니다] 1. 변이형 오토인코더(VAE, Variational Auto Encoder)란?- 변이형 오토인코더, VAE는 심층 신경망을 이용한 생성 모델의 하나로, 데이터의jaylala.tistory.com [생성 AI] 변이형 오토인코더(Variational Auto Encoder) (2/2) [생성 AI] 변이형 오토인코더(Variational Auto .. 2024. 10. 28. [딥러닝 with Python] GELU란?(Gaussian Error Linear Unit) 이번에 알아볼 것은 활성화 함수로 활용되는 GELU에 대해서 알아보겠습니다. 1. GELU란?- GELU는 Gaussian Error Linear Unit의 줄임말로, 딥러닝에서 활용되는 비선형 활성화 함수 중의 하나입니다. - 기존 활성화함수인 ReLU나 Sigmoid에 비해 더 부드럽게 동작한다고 얘기할 수있는데요. 이는, 큰 값일수록 활성화 될 확률이 높고, 작은 값일수록 활성화될 확률이 낮아지는 형태를 취하기 때문입니다. - GELU를 활용해서 좋은 성능을 보인 대표적 모델은 BERT가 되겠습니다. - GELU의 공식은 아래와 같습니다. - 이를 조금 더 간단히 근사해보면 아래와 같습니다. - 그렇다면, 이 함수가 어떤 형태를 띄는지 2차원에서 시각화해보도록 하겠습니다.* 파이썬을 활용해서 함.. 2024. 10. 27. 이전 1 ··· 3 4 5 6 7 8 9 ··· 21 다음 반응형
