반응형 전체 글291 [개념 정리] Adam, SGD, RMSProp 비교 1. Adam, SGD, RMS Prop이란?- 딥러닝 모델 학습에서 최적화 알고리즘(Optimizer)은 손실 함수를 최소화하기 위해 파라미터를 갱신하는 방법을 정의합니다. - 가장 기본적인 방법은 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이지만, 최근에는 RMSProp과 Adam 같은 적응형 학습률(Adaptive Learning Rate) 알고리즘이 더 널리 쓰입니다.1-1. SGD(Stochastic Gradient Descent) - SGD는 데이터 샘플(혹은 미니배치)을 사용해 손실 함수의 기울기를 계산하고, 그 방향으로 파라미터를 갱신합니다.수식은 다음과 같습니다 - SGD의 특징은 다음과 같습니다. 단순하고 계산량이 적음학습률이 고정되어 있어 튜닝 필요.. 2025. 8. 22. [개념 정리] Cross Entropy Loss vs KL Divergence 1. Cross Entropy KL Divergence 개념과 정의 - 딥러닝과 머신러닝에서 Cross-Entropy Loss(교차 엔트로피 손실) 와 KL Divergence(Kullback–Leibler Divergence) 는 자주 등장하는 개념입니다.- 둘 다 두 확률 분포 간의 차이를 측정하는 데 사용되지만, 목적과 해석이 다릅니다.1) Cross-Entropy Loss * 주어진 참값 분포 P와 모델이 예측한 확률 분포 Q 사이의 불일치를 측정하는 손실 함수입니다. * 분류 문제에서 소프트맥스(Softmax) 출력과 함께 가장 많이 사용됩니다. 2) KL Divergence한 확률 분포 P가 다른 확률 분포 Q로부터 얼마나 다른지를 비대칭적으로 측정합니다. 정보 이론에서 두 분포 간의 상대 엔.. 2025. 8. 22. [딥러닝 with Python] GFM이란? 그래프 파운데이션 모델 이란? (Graph Foundation Model, GFM) LLM이 텍스트를, ViT가 이미지를 이해하는 시대, 복잡한 '관계' 데이터는 어떻게 다뤄야 할까요? 그 해답으로 떠오르는 "그래프 파운데이션 모델(Graph Foundation Models, GFM)"의 핵심부터 실전 적용 방법까지 한 번에 정리해 보고자 합니다. 1. GFM이란?- GFM은 거대한 그래프 데이터(소셜 네트워크, 지식그래프, 분자 구조 등)로 미리 학습시킨 "그래프판 범용 기본 모델"입니다.- 이렇게 학습된 모델은 특정 그래프 문제(노드 분류, 링크 예측 등)를 풀 때, 아주 적은 데이터나 프롬프트만으로도 높은 성능을 낼 수 있습니다. 이러한 GFM을 구성하는것이 필요한 이유는 무엇일까요? - 그래프 데이터는 위키데이터(수십억 개의 관계)나 OGB-LSC 같은 대규모 벤치마크처럼 폭.. 2025. 8. 22. [개념 정리] 플릿 인텔리전스란? (Fleet Intelligence) 우리는 수많은 '개체'들로 둘러싸여 있습니다. 물류 회사의 트럭들, 스마트 팩토리의 로봇팔, 데이터 센터의 서버, 심지어 도시의 전기차 충전소까지. 지금까지 우리는 이들을 각각의 '점'으로 보고 개별적으로 관리하는 데 익숙했습니다. 하지만 이 점들을 연결하여 하나의 거대한 '시스템'으로 바라본다면 어떨까요? 이러한 발상의 전환에서 플릿 인텔리전스(Fleet Intelligence)의 개념이 시작됩니다. 1. 플릿 인텔리전스란? (Fleet Intelligence)- 플릿 인텔리전스는 여러 개별 자산(Asset)으로 구성된 집단, 즉 '플릿(Fleet)'을 하나의 유기적인 시스템으로 간주하고, 데이터를 기반으로 전체 시스템의 상태를 실시간으로 파악, 분석, 예측하여 최적의 의사결정을 내리는 기술 및 전략.. 2025. 8. 21. [딥러닝 with Python] [그래프 신경망] Graph Transformer Attention과 GNNExplainer의 해석력 비교 이번 포스팅에서는 Graph Transformer를 활용했을때 해석력 관점에서 사용 가능한 2가지, Attention 과 GNN Explainer에 대해서 알아보도록 하겠습니다.[딥러닝 with Python] [그래프 신경망] Graph Transformers [딥러닝 with Python] [그래프 신경망] Graph Transformers[해당 포스팅은 "CS224W: Machine Learning with Graphs" ( https://web.stanford.edu/class/cs224w/index.html )를 참조했습니다.] 지난시간에는 GNN의 표현력을 향상시키기 위한 방법 중 GIN(Graph Isomorphism Network), 그리고 nodejaylala.tistory.com[딥러닝 .. 2025. 8. 21. [딥러닝 with Python] [그래프 신경]지식 그래프 추론과 Query2Box [해당 포스팅은 "CS224W: Machine Learning with Graphs" (https://web.stanford.edu/class/cs224w/index.html)를 참조했습니다.] 이전 포스팅에서 우리는 지식 그래프(KG)가 무엇이며, TransE와 같은 모델을 통해 빠져있는 하나의 사실(one-hop)을 예측하는 '지식 그래프 완성'에 대해 알아보았습니다.[딥러닝 with Python] [그래프 신경망] 지식 그래프(Knowledge Graph) [딥러닝 with Python] [그래프 신경망] 지식 그래프(Knowledge Graph)[해당 포스팅은 "CS224W: Machine Learning with Graphs" ( https://web.stanford.edu/class/cs22.. 2025. 8. 21. [딥러닝 with Python] [그래프 신경망] 지식 그래프(Knowledge Graph) [해당 포스팅은 "CS224W: Machine Learning with Graphs" ( https://web.stanford.edu/class/cs224w/index.html 를) 참조했습니다.] 지금까지 GNN 시리즈를 통해 그래프의 노드 표현을 학습하는 다양한 방법을 살펴보았습니다. 특히, 지난 시간에는 시작 노드 / 연결관계 / 종료 노드 의 관계가 다양한 이종 그래프(Heterogeneous Graph)에 대해서 알아보았습니다.[딥러닝 with Python] [그래프 신경망] Heterogeneous Graph / RGCN(Relational GCN) & HGT(Heterogeneous Graph Transformer) [딥러닝 with Python] [그래프 신경망] Heterogeneous.. 2025. 8. 20. [딥러닝 with Python] [그래프 신경망] Heterogeneous Graph / RGCN(Relational GCN) & HGT(Heterogeneous Graph Transformer) [해당 포스팅은 "CS224W: Machine Learning with Graphs" (https://web.stanford.edu/class/cs224w/index.html)를 참조했습니다.] - 지난 시간에는 Transformer 방법론에 GNN을 적용한 Graph Transformer에 대해서 알아보았습니다.[딥러닝 with Python] [그래프 신경망] Graph Transformers [딥러닝 with Python] [그래프 신경망] Graph Transformers[해당 포스팅은 "CS224W: Machine Learning with Graphs" ( https://web.stanford.edu/class/cs224w/index.html )를 참조했습니다.] 지난시간에는 GNN의 표현력을 향.. 2025. 8. 20. 이전 1 2 3 4 5 6 ··· 37 다음 반응형
