반응형 Residual Connection1 [개념 정리] Residual Connection과 Skip Connection(기울기 소실 해결을 위한 방법) 1. 딥러닝에서 기울기 소실 문제 (Gradient Vanishing Problem)- 딥러닝 모델이 깊어질수록 역전파 과정에서 기울기(Gradient)가 점점 작아져 0에 가까워지는 현상(Gradient Vanishing)이 발생합니다. - 이로 인해 앞쪽 레이어(초기 층)는 학습이 거의 되지 않고, 네트워크가 깊어져도 성능 향상이 제한됩니다. - 특히, 2010년대 초반의 CNN(예: VGGNet)은 깊이를 늘리면 학습 자체가 어려워지는 문제가 있었고, 이를 해결하기 위해 2015년 Microsoft Research에서 제안된 모델이 바로 ResNet(Residual Network)입니다. - ResNet은 Skip Connection이라는 단순한 구조적 아이디어로 기울기 소실 문제를 완화하고, 15.. 2025. 8. 23. 이전 1 다음 반응형
