6_하이퍼파라미터 튜닝

모델 parameter: 머신러닝 모델이 학습하는 paraemter

Hyper-parameter: 모델이 학습할 수 없어서 사용자가 지정해야만 하는 parameter

Hyper-parameter

사이킷런과 같은 머신러닝 라이브러리를 사용할 때, Hyper-parameter는 모두 클래스 혹은 메서드의 매개변수로 표현 및 제공

 

 

Hyper-parameter 작업하는 순서

1) 라이브러리가 제공하는 기본값을 그대로 사용해 모델을 훈련

2) 검증 세트의 점수나 교차 검증을 통해서 매개변수를 조금씩 변경

   - 모델마다 적게는 1, 2개 혹은 많게는 5, 6개의 매개변수를 제공

3) 매개변수를 변경해 가면서, 모델을 훈련하고 교차 검증 수행.

중요 Point
전체 2개(A, B)의 parameter 중 A의 최적 parameter를 찾은 이 후,
B의 최적 parameter를 찾을 때 A를 parameter를 고정해야 하는지에 대한 의문??
답!! 두 매개변수를 동시에 바꿔가며 최적의 값을 찾아야 한다.

그러면 매개변수가 6개일 경우는 어떻게 해야하는가 하는 문제, 파이썬의 for문으로 이런 과정을 구현?? 너무 힘들죠...

^^ 훌륭하신 사이킷런 & Grid Search tool 이용하면 손쉽게 해결.