[ML] 일반화

이 글은 [developers.google.com/machine-learning/crash-course/generalization/video-lecture]을 참고하여 작성하였습니다.

 

 

일반화

주황색 점과 파란색 점을 구분하는 방법을 생각해보자

 

적합해 보임

 

새 데이터를 추가했더니 과적합

 

• 문제 : 새로운 사례가 추가되는 경우!
  • 모델 과적합 문제
• 모델 과적합 문제 발생하지 않으려면?
  • 우리가 머신러닝으로 하고자 하는 것이 무엇인지 생각해보기
  • 데이터 샘플로 모델을 학습시킴
    • 어떻게 신뢰?

 

모델의 적합도 판단

• 일반화 이론
  • 모델의 단순성/복잡성 측정 아이디어 기반
  • 실제로는 경험적인 접근방식을 사용하기 때문에 일반화이론 사용 x
• 테스트 세트 방법 (경험적인 측면)
  • 데이터 분포에서 새로운 사례를 뽑아 모델을 학습시킴 = 학습세트
  • 사례를 하나 더 추출하여 테스트 세트로 만듬
  • 모델이 학습 세트에서만큼 테스트 세트에서 효과적으로 작동하면(좋은 예측값을 얻으면) 이전에 보지 못했던 새로운 데이터에도 잘 작동할 것이라고 추정 = 일반화
    • 테스트 세트가 충분히 큰 경우
    • 테스트 세트를 반복적으로 사용하지 않는 경우

 

주의사항

• 다음 세 가지 가정
• 1. 데이터 분포에서 사례를 추출할 때 독립적, 개별적으로 추출
  • 편향되면 안됨
• 2. 분포가 정상성을 보이며 시간이 지나도 불변
• 3. 항상 동일한 데이터 분포를 사용, 항상 같은 분포에서 추출