[ML] 손실 줄이기

이 글은 [developers.google.com/machine-learning/crash-course/reducing-loss/video-lecture]을 참고하여 작성하였습니다.

 

손실을 줄이는 방법

• 가중치와 편향에 대한 도함수 : (y - y')^2
  • 주어진 예제의 손실 변화 정도
  • 계산하기 간편, 볼록 모양
• 작은 보폭을 반복하여 취함
  • (음의) 기울기 보폭
  • 경사하강법

학습률 최적화

학습률 = 0.01

 

학습률 = 0.1

 

학습률 = 1.0 / 6단계에서 최저손실점 도달

 

가중치 초기화

• 볼록 문제에서는 가중치가 임의의 값을 가질 수 있다.
  • 볼록 : 그릇 모양
  • 최소값은 단 하나
• 예고(foreshadowing) : 신경망에서는 해당 없음
  • 볼록X : 계란판 모양
  • 최소값 둘 이상
  • 초기값에 따라 크게 달라짐
    • 극소값 여러개 중 유용한 것과 아닌 것이 있음 => 초기값이 중요

SGD와 미니 배치 경사하강법

• 각 보폭마다 전체 데이터 세트에 대해 기울기 계산 가능하지만, 그럴 필요 없다는 것이 밝혀짐
• 적응 양의 데이터 샘플에서 기울기 계산이 잘 작동
  • 모든 보폭에서 새로운 무작위 샘플을 얻음
• 확률적 경사하강법 : 한 번에 하나의 예
• 미니 배치 경사하강법 : 10~1000개의 예로 구성된 배치
  • 손실과 기울기는 배치 전반에 걸쳐 평균 처리됨
  • 실무에서 사용
  • 전체 배치 반복과 SGD간의 절충안