본문 바로가기

전체 글286

[개념 정리] Dropout과 Regularization의 차이 1. Regularization의 개념과 필요성- 딥러닝 모델이 충분히 복잡하고 파라미터가 많을 경우, 학습 데이터에 과도하게 맞춰져서 새로운 데이터에서는 성능이 떨어지는 과적합(Overfitting) 문제가 발생합니다. - 이를 방지하기 위해 사용하는 기법이 정규화(Regularization)입니다. - 정규화는 모델의 복잡도를 억제하거나 학습 과정에서 제약을 주어 모델이 더 일반화된 패턴을 학습하게 돕습니다. - 전통적인 정규화 방법으로는 L1 정규화(라쏘, Lasso), L2 정규화(릿지, Ridge)가 있습니다. - 수학적으로 L2 정규화(Weight Decay)는 다음과 같이 손실 함수에 패널티 항을 추가합니다. - 여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터이며, θ는 모델 파라미터.. 2025. 8. 29.

[개념 정리] Parameter, Hyperparameter, Model Capacity 란? 1. Parameter란 무엇인가? 딥러닝에서 파라미터(Parameter) 는 모델이 학습을 통해 스스로 조정하는 값입니다. 대표적으로 가중치(Weight)와 편향(Bias)가 여기에 해당합니다. 파라미터는 손실 함수를 최소화하는 방향으로 역전파(Backpropagation)와 경사 하강법(Gradient Descent)을 통해 자동으로 업데이트됩니다. * 예를 들어, 선형 회귀에서 입력 x와 출력 y의 관계가 다음과 같다고 합시다 여기서 w와 b가 파라미터입니다. 학습 데이터가 주어지면, 모델은 손실 함수 L(y,y^)를 최소화하는 w와 b를 찾아갑니다. 딥러닝 모델에서는 이러한 파라미터가 수십만~수억 개 이상 존재하며, 모델의 표현력과 직접적으로 연결됩니다. 2. Hyperparameter(하이퍼.. 2025. 8. 28.

[딥러닝 with Python] [그래프 신경망] HGT란? (Heterogeneous Graph Transformer) [이번 포스팅은 논문 " Hu, Z., Dong, Y., Wang, K., & Sun, Y. (2020, April). Heterogeneous graph transformer. In Proceedings of the web conference 2020 (pp. 2704-2710)." 을 참조했습니다] 1. 이종 그래프의 한계와 Heterogeneous Graph Transformer(HGT)의 등장- 현실 세계의 데이터는 논문, 저자, 기관처럼 다양한 유형의 객체와 그들 사이의 복잡한 관계로 이루어진 이종 그래프(Heterogeneous Graph)입니다. 기존의 그래프 신경망(GNNs)은 대부분 모든 노드와 엣지가 동일한 유형인 동종 그래프용으로 설계되어 이러한 복잡성을 모델링하는 데 한계가 있었습니.. 2025. 8. 27.

[딥러닝 with Python] PyGrinder를 활용한 시계열 데이터 결측값 만들기 [해당 포스팅은 https://github.com/WenjieDu/PyGrinder 을 기반으로 작성되었습니다.] 시계열 데이터를 분석할 때 가장 큰 골칫거리 중 하나는 바로 결측값(missing values)입니다. 불완전한 데이터는 모델의 성능을 저하시키고 분석 결과의 신뢰도를 떨어뜨립니다. 이 때문에 결측값을 효과적으로 처리하는 대치(Imputation) 모델의 성능을 검증하는 것은 매우 중요합니다. 이에 대해 지난번 포스팅에서 Time Series Imputation이라는 Task에 대해서 알아보았는데요.[개념 정리] Time Series Imputation이란? 시계열 대치 [개념 정리] Time Series Imputation이란? 시계열 대치1. Time Series Imputat.. 2025. 8. 26.

[개념 정리] Time Series Imputation이란? 시계열 대치 1. Time Series Imputation(시계열 대치)- Time Series Imputation(시계열 대치)는 불완전 시계열에서 결측값을 추정해 원본과의 차이를 최소화하거나, 후속 과제(분류·회귀 등)의 성능을 극대화하는 것입니다. - 이때 시계열과 결측 표현과 대치(Imputation) 목표는 다음과 같이 정의됩니다. 2. 벤치마크 설정1. 데이터셋 구성- TSI-Bench는 4개 도메인에서 8개의 실제 데이터셋을 사용하며, 통계치는 아래와 같습니다. 도메인데이터셋총 샘플 수변수 개수(센서)시퀀스 길이원본의 결측률(%)대기 질BeijingAir1,458132241.6대기 질ItalyAir77413120교통PeMS727862240교통Pedestrian3,6331240전력ETTh13587480전.. 2025. 8. 26.

[개념 정리] BatchNormalization 과 LayerNormalization 비교 1. 정규화의 개념과 필요성- 딥러닝 모델의 깊이가 깊어질수록, 각 레이어 입력의 분포가 학습 과정에서 계속 변하는 내부 공변량 변화(Internal Covariate Shift) 현상이 발생합니다. 이를 완화하기 위해 평균과 분산을 일정하게 맞추는 정규화(normalization) 기법이 사용됩니다. 정규화를 적용하면 학습이 안정화되고 수렴 속도가 빨라지며, 초기화에 대한 민감도가 감소합니다.- 대표적인 정규화 기법으로는 Batch Normalization(BN)과 Layer Normalization(LN)이 있습니다. 두 방식은 모두 입력을 평균 0, 분산 1로 맞춘 뒤 학습 가능한 스케일 파라미터 γ(Gamma)와 시프트 파라미터 β(Beta)를 적용하지만, 통계량을 계산하는 축이 다르기 때문에 .. 2025. 8. 26.

[딥러닝 with Python] HAN이란? (Heterogeneous Graph Attention Network) [ 해당 포스팅은 " Wang, X., Ji, H., Shi, C., Wang, B., Ye, Y., Cui, P., & Yu, P. S. (2019, May). Heterogeneous graph attention network. In The world wide web conference (pp. 2022-2032). " 논문을 참조했습니다 ]현실 세계의 데이터는 '사용자', '영화', '배우'처럼 다양한 종류의 객체와 관계로 얽혀있는 이기종 그래프(Heterogeneous Graph)입니다. 이런 복잡한 네트워크에서 GNN은 어떻게 의미 있는 정보를 학습할까요? 단순히 모든 관계를 동일하게 취급하는 것만으로는 부족합니다.이러한 문제를 해결하기 위해 등장한 HAN(Heterogeneous Graph A.. 2025. 8. 25.

[개념 정리] SMART (Self-Monitoring, Analysis, and Reporting Technology) (하드디스크 자가 진단 기술) 1. SMART란?- S.M.A.R.T. 는 Self-Monitoring, Analysis, and Reporting Technology의 약자로, 이름 그대로 스스로 상태를 감시, 분석하고 보고하는 기술입니다.- HDD나 SSD가 작동하는 동안 스스로 다양한 건강 지표를 추적하여 고장이 임박했음을 미리 사용자에게 경고하는 일종의 조기 경보 시스템을 말합니다. - 예시로, 자동차의 엔진 경고등을 생각하면 쉽습니다. 경고등이 켜졌다고 해서 지금 당장 차가 멈추는 것은 아니지만, "가까운 시일 내에 정비소에 방문해야 합니다"라는 중요한 신호를 보내는 것처럼, S.M.A.R.T.는 저장 장치의 잠재적인 문제를 알려줍니다. - S.M.A.R.T.는 수십 가지의 '속성(Attributes)'을 통해 드라이브의 .. 2025. 8. 24.

이전 1 2 3 4 ··· 36 다음

티스토리툴바