본문 바로가기
반응형

분류 전체보기286

[개념 정리] Dropout과 Regularization의 차이 1. Regularization의 개념과 필요성- 딥러닝 모델이 충분히 복잡하고 파라미터가 많을 경우, 학습 데이터에 과도하게 맞춰져서 새로운 데이터에서는 성능이 떨어지는 과적합(Overfitting) 문제가 발생합니다. - 이를 방지하기 위해 사용하는 기법이 정규화(Regularization)입니다. - 정규화는 모델의 복잡도를 억제하거나 학습 과정에서 제약을 주어 모델이 더 일반화된 패턴을 학습하게 돕습니다. - 전통적인 정규화 방법으로는 L1 정규화(라쏘, Lasso), L2 정규화(릿지, Ridge)가 있습니다. - 수학적으로 L2 정규화(Weight Decay)는 다음과 같이 손실 함수에 패널티 항을 추가합니다. - 여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터이며, θ는 모델 파라미터.. 2025. 8. 29.
[개념 정리] Parameter, Hyperparameter, Model Capacity 란? 1. Parameter란 무엇인가? 딥러닝에서 파라미터(Parameter) 는 모델이 학습을 통해 스스로 조정하는 값입니다. 대표적으로 가중치(Weight)와 편향(Bias)가 여기에 해당합니다. 파라미터는 손실 함수를 최소화하는 방향으로 역전파(Backpropagation)와 경사 하강법(Gradient Descent)을 통해 자동으로 업데이트됩니다. * 예를 들어, 선형 회귀에서 입력 x와 출력 y의 관계가 다음과 같다고 합시다 여기서 w와 b가 파라미터입니다. 학습 데이터가 주어지면, 모델은 손실 함수 L(y,y^)를 최소화하는 w와 b를 찾아갑니다. 딥러닝 모델에서는 이러한 파라미터가 수십만~수억 개 이상 존재하며, 모델의 표현력과 직접적으로 연결됩니다. 2. Hyperparameter(하이퍼.. 2025. 8. 28.
[딥러닝 with Python] [그래프 신경망] HGT란? (Heterogeneous Graph Transformer) [이번 포스팅은 논문 " Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020, April). Heterogeneous graph transformer. In Proceedings of the web conference 2020 (pp. 2704-2710)." 을 참조했습니다] 1. 이종 그래프의 한계와 Heterogeneous Graph Transformer(HGT)의 등장- 현실 세계의 데이터는 논문, 저자, 기관처럼 다양한 유형의 객체와 그들 사이의 복잡한 관계로 이루어진 이종 그래프(Heterogeneous Graph)입니다. 기존의 그래프 신경망(GNNs)은 대부분 모든 노드와 엣지가 동일한 유형인 동종 그래프용으로 설계되어 이러한 복잡성을 모델링하는 데 한계가 있었습니.. 2025. 8. 27.
[딥러닝 with Python] PyGrinder를 활용한 시계열 데이터 결측값 만들기 [해당 포스팅은 https://github.com/WenjieDu/PyGrinder 을 기반으로 작성되었습니다.] 시계열 데이터를 분석할 때 가장 큰 골칫거리 중 하나는 바로 결측값(missing values)입니다. 불완전한 데이터는 모델의 성능을 저하시키고 분석 결과의 신뢰도를 떨어뜨립니다. 이 때문에 결측값을 효과적으로 처리하는 대치(Imputation) 모델의 성능을 검증하는 것은 매우 중요합니다. 이에 대해 지난번 포스팅에서 Time Series Imputation이라는 Task에 대해서 알아보았는데요.[개념 정리] Time Series Imputation이란? 시계열 대치 [개념 정리] Time Series Imputation이란? 시계열 대치1. Time Series Imputat.. 2025. 8. 26.
반응형

티스토리툴바