딥러닝 튜닝, 드롭아웃, 활성화함수, 손실함수,

<드롭아웃, dropout>

- 과학습을 방지하여 모델의 정확도를 높이는 방법 중 하나

- 유닛의 일부가 학습할 때마다 무작위로 제거됨,정확하게는 0으로 덮어쓰기가 됨

▶ 학습데이터에 대한 과학습을 방지할 수 있음.

model.add(Dropout(rate=0.5)) > rate는 제거할 유닛의 비율

 

◀Dropout을 했을 때  ▶Dropdout을 안했을때( 학습할 수록 val_accuracy보다 높아짐 : 과학습됨)

 

<활성화함수>

- 전결합층 뒤에 적용하는 함수. 

- 활성화 함수를 이용함으로써 비선형성,서로 관련이 없는 것을 갖게 됨.

   ▶ 비선형성을 갖게 해서 학습이 적절하게 진행되면 선형 분리 불가능한 모델도 분류 됨

 

* 시그모이드 함수, sigmoid function

- 출력은 반드시 구간(0,1)안에 들어가기 때문에 극단적인 출력값이 적다.

 

*ReLU-랠루 또는 램프 함수로 불림, Rectified Linear Unit

- ReLu(x) = 0(x<0) x(x>=0)

 

* 그외에도 다양한 활성화 함수 비교

출처 :&nbsp;https://m.blog.naver.com/handuelly/221824080339

 

<손실함수>

- 모델의 출력과 지도 데이터의 차이,잘못된 상태를 평가하는 함수

- 훈련 데이터세트와 테스트데이터셋의 정확도 차이 

 

출처 :&nbsp;https://wikidocs.net/36033

 

* 제곱오차, squared error

- 연속값 평가가 뛰어나므로 주로 회귀모델의 오차 함수로 사용

- $E=\sum_{i=1}^{N}(t_i-y_i)^2$

 

*교차 엔트로피 오차, cross-entropy error, CEE

- 이항 분류의 평가에 특화되어 있으므로 주로 분류 모델의 오차 함수로 사용

- $E=\sum_{i=1}^{N}(-t_ilogy_i-(1-t_i)log(1-y_i))$

- 분류 학습에서 예측 라벨  y_i와 정답 라벨 t_i의 값은 가까울수록 좋으므로 이 함수는 유용

 

▶ 손실함수를 최소화하도록 오차역전파법,backpropagation으로 각 층의 가중치가 갱신됨