[딥러닝 with Python] 딥러닝에서 Online과 Offline 학습

 

딥러닝에서 학습 방식은 

 

Online learning(Online 학습) 과 Offline Learning(Offline 학습)으로 나뉩니다. 이 두 개념은 데이터 처리방식과 학습 과정에서의 접근 방식에 따라 차이가 있습니다. 

 

 이번 포스팅에서는 위 두 학습방식의 차이에 집중해보고자 합니다.

 

1. Online Learning(온라인학습)과 Offline Learning(오프라인 학습)

1) Online Learning

- Oline learning은 실시간으로 들어오는 데이터를 지속적으로 학습하는 방식입니다.

 

- 즉, 데이터가 들어올때마다 모델이 업데이트 되는 방식을 말하며,  큰 데이터 셋을 한번에 모델이 학습을 할수 없기에 배치(Batch)로 나누어서 학습을 하는 일반적인 딥러닝 학습방식도 이에 해당합니다.

 

- 새로운 데이터가 계속 추가되는 것도 이에 해당하지만, 주어진 데이터를 나누어서 학습하는 방법도 이에 해당하기에 메모리 사용량이 적고 연산량이 분산된다고 볼 수 있습니다.

 

- 이를 통해서, 데이터 샘플이 순차적으로 입력되므로, 모델이 편향될 수도 있고 과적합될 수도 있습니다.

 

 

2) Offline Learning

- Offline Learning은 모든 데이터를 한번에 학습하여 최적의 모델을 찾는 방식으로, 학습이 끝난 후에는 모델이 업데이트가 되지 않습니다.

 

- 전체 데이터셋을 한번에 사용하여 학습하기에 다량의 계산비용과 메모리가 필요하게 됩니다.

 

 

이 두 학습의 차이를 표로 정리해서보면 아래와 같습니다.