[ML] 검증세트

이 글은 [developers.google.com/machine-learning/crash-course/validation/video-lecture]을 참고하여 작성하였습니다.

 

 

Quiz

[ML] 학습 및 테스트 세트 관련 퀴즈

 

Q. 테스트 세트 및 학습 세트를 사용하여 모델 개발 반복 과정을 진행하는 프로세스를 살펴보았습니다. 각 반복 과정에서는 학습 데이터를 학습하고 테스트 데이터로 평가하면서 테스트 데이터에 대한 평가 결과를 근거로 학습률, 특성 등의 다양한 모델 초매개변수를 선택하고 변화를 줍니다. 이 접근법에 잘못된 점이 있나요? 정답을 하나만 고르세요.

 

1. 문제가 없습니다. 학습 데이터로 학습하고, 별도로 분리해 둔 테스트 데이터로 평가합니다.

2. 이 방식은 연산 효율이 낮습니다. 기본 초매개변수 세트를 선택하고 그대로 사용하여 리소스를 절약해야 합니다.

3. 이 절차를 많이 반복하면 특정 테스트 세트의 특이성에 은연중에 적응하게 됩니다.

 

A. 3번

 

해설

1. 실제로는 미묘한 문제점이 있습니다. 이 방식으로 반복을 아주 많이 진행한다면 어떻게 될지 생각해 보세요.

2. 이러한 유형의 반복 과정은 많은 리소스를 사용하지만 모델 개발에서 핵심적인 부분을 차지합니다. 초매개변수 설정은 모델의 품질에 막대한 영향을 주므로 항상 충분한 시간과 연산 리소스를 투입하여 가능한 한 최고의 품질을 달성할 필요가 있습니다.

3. 특정 테스트 세트로 자주 평가할수록 해당 테스트 세트에 대한 암시적 과적합이 나타날 위험이 커집니다. 다음 과정에서 더 나은 방식을 살펴보려고 합니다.

 

 

자세한 내용은 다음 링크에 있습니다!😊

nakyungim.tistory.com/entry/ML-학습-및-테스트-세트

[ML] 학습 및 테스트 세트

 

 

가능한 워크플로우

두개의 분할을 사용하는 워크플로우의 예

① 학습 세트로 모델을 학습시킨다.

② 테스트 세트로 모델을 평가한다.

③ 테스트 세트의 결과에 따라 모델(학습률 등의 설정)을 조정한다.

①~③을 순환

④ 테스트 세트에서 가장 우수한 결과를 보이는 모델을 선택한다.

 

• 생길 수 있는 문제점?
  • 테스트 데이터만의 특성에 과적합한 모델이 나오는 경우

• 해결책?
  • 모집단에서 '검증 세트'라는 3번째 데이터 세트를 만들기

학습 세트 / 검증 세트 / 테스트 세트

 

 

워크플로우 개선 : 검증 세트 사용

3개의 분할을 사용하는 워크플로우의 예

① 학습 세트로 모델을 학습시킨다.

② 검증 세트로 모델을 평가한다.

③ 검증 세트의 결과에 따라 모델을 조정한다.

①~③을 순환

④ 검증 세트에서 가장 우수한 결과를 보이는 모델을 선택한다.

⑤ 테스트 세트의 결과를 확인한다.

 

• 테스트 데이터를 이용 X
• 검증 데이터에서 좋은 결과가 나올 때까지 반복, 매개변수와 모델 수정 작업 계속
• 최종 테스트 데이터를 대상으로 모델을 테스트
• 이때, 테스트 데이터에서 얻은 결과가 검증 데이터 결과와 일치하는지 확인
  • 일치하지 않는다면? 검증 세트에 과적합한 모델일 가능성 높다.