딥러닝 튜닝, 하이퍼파라미터와 네트워크 구조

<하이퍼파라미터>

- 네트워크를 구성할 때 사람이 조정해야 하는 파라미터가 존재

- 자동으로 최적화 되지 않으며, 적절하게 설정하지 않으면 올바르게 학습할 수 없다.

 

- 네트워크 구조, 은닉층 수, 유닉층의 유닛 수는 자유롭게 설정할 수 있음.

▶ 적절한 네트워크 구조를 설정할 필요가 있음..

 

▼어제 했었던 딥러닝 구현 후 한 번 조정해보기

 

▼위 171~173 행을 3가지 패턴으로 나누어 시도해보기

 

funcA : 
#유닛 256개의 전결합 은닉층 하나, 유닛 수 128개의 전결합 은닉층 하나를 가진 모델

funcB:

#유닛수 256개의 전결합 은닉층 하나, 유닛수 128개의 전결합 은닉층 3개를 가진 모델

funcC:

#유닛 수 256개의 전결합 은닉층 하나, 유닛 수 1568개의 전결합 은닉층 하나를 가진 모델

 

funcA 일때

funcB 일때 (세상에 이게 먼일)

funcC 일때 

funcC(유닛 수 256개의 전결합 은닉층 하나, 유닛 수 1568개의 전결합 은닉층 하나를 가진 모델)의

정확도가 가장 높고 loss가 가장 적은것을 확인할 수 있다. 

▶ 데이터마다 다르기 때문에 그때그때 패턴을 만들어서 시도해보는 것이 좋음.