에포크에 따른 학습데이터/밸리데이션 데이터의 관계

Generalization(일반화)
모델이 처음 보는 데이터에 대해 정확하게 예측 할 수 있으면 이를 훈련 세트에서 테스트 세트로 일반화 되었다고 함

Overfiting(과대적합)
너무 많은 데이터를 학습하여 학습한 결과가 학습에 사용된 데이터와 거의 일치하여 새로운 데이터가 들어왔을 때 예측이 틀려버리는 상태

Underfiting(과소적합)
학습의 데이터가 적어서 학습 데이터도 일치하지 않고 새로운 데이터가 들어왔을 때 예측도 틀려버리는 상태

 

아래는 어떤 트레인 데이터와 테스트 데이터의 정확도를 나타낸 차트이다.

이를 보면 트래인 데이터의 정확도는 점점 높아지는데 Validation 정확도는 일정이상 늘어나지 않는 모습을 봤을 때

Overfiting 됐다고 볼 수 있다.

 

Epoch(에포크)가 너무 적으면 학습이 덜 되어 Underfiting(과소적합)이 발생하고,
Epoch(에포크)가 너무 많으면 학습이 과다하게 되어 Overfiting(과대적합)이 발생한다.

그러므로 우리는 Generalization이 되는 적당한 Epoch를 찾아야 한다.