머신러닝62 머신러닝 교차검증, K-Fold Cross Validation 모델이 학습 데이터에만 과도하게 최적화되어 예측을 다른 데이터로 수행하면 성능이 과도하게 떨어지는 것 - 고정된 학습데이터와 테스트 데이터로만 하다보면 평향되게 모델을 유도할 수 있음. : 그래서 고정된 테스트데이터를 쓰면 괜찮은데 다른 값의 테스트 데이터 셋이 들어가면 성능이 떨어질 수 있음. ▶ 그래서 이럴때 하는 것이 교차검증 - 데이터 편중을 막기 위한 것 - 별도의 여러 세트로 구성된 학습 데이터 세트 / 검증 데이터 세트에서 학습과 평가를 수행 하는 것 ▶ 그래서 각 세트에서 수행한 평가 결과에 따라 하이퍼 파라미터 튜닝을 통해 최적화를 더욱 손쉽게 ▷ 학습 / 검증 / 테스트 데이터 세트로 나눠서 모델을 다양하게 평가하는데 사용할 수 있음. - K개의 데이터 폴드(Fold) 세트를 만들어서 .. 2023. 8. 6. 머신러닝 scikit-learn model selection 모듈 - 학습데이터/ 테스트 데이터 세트를 분리하고 - 교차 검증 분할 및 평가 - Estimator의 하이퍼 파라미터를 튜닝하기 위한 다양한 함수와 클래스를 제공 - 학습/ 테스트 데이터 세트 분리 해주는 함수 ▶ 정확도가 100%인 이유는, 이미 학습한 데이터로 테스트를 했기 때문에,,^_^ 그래서 이럴때 train_test_split()을 써서 학습/테스트 데이터를 쉽게 분리할 수 있음. ▽앞에서 했던 붓꽃 데이터를 가지고 분리해보고자 함 ▶ 75행 : test_size = 전체 데이터에서 테스트 데이터 세트 크기를 얼마나 할것인지, 디폴트는 0.25(25%) train_size = test_size 반대, 학습용 데이터 세트 크기를 얼마로 샘플링 할 것인가. (주로 test를 더 많이 씀) shuffl.. 2023. 8. 1. 딥러닝 이미지 전처리, 표준화, 백색화, 정규화, VGG16 https://keras.io/api/data_loading/image/ - 데이터 성분 사이에 상관관계를 없애는 방법, RGB 3채널에 백색화를 실시한것. - 미니배치 학습을 통해 배치마다 표준화를 수행하는 것 - model의 add() 메서드로 모델에 배치 정규화를 통합할 수 있음. - 학습된 모델을 이용하여 새로운 모델을 학습시키는 것, 전이학습 - VGG 모델 : 오ㅗㄱ스퍼드 대학의 Visual Geometry Group 팀이 만든 네트워크 모델. - 가중치를 가진 층(합성곱층과 전결합층)을 16층 거듭한 것과 19층 거듭한 것이 있으며 각각 VGG16, VGG19라고 부름. - VGG16 : 합성곱 13층 + 전결합층 3층 = 16층의 신경망으로 되어 있음. -> 합성곱층 커널의 크기가 3*3으.. 2023. 8. 1. 딥러닝 하이퍼파라미터 2 - 풀링층, Pooling - 1탄에 이어서 2탄,,, 여기서는 풀링층..! https://dev-adela.tistory.com/196 - 풀링층의 poolo_size 파라미터는 풀링의 거칠기를 지정하는 파라미터. - 크게하면 위치에 대한 견고성(강건성, robustness)이 상승(이미지내 개체의 위치가 변화해도 출력 안변하는것) > 기본적으로 pool_size는 2*2가 좋다고 알려져는 있음. - 2차원 데이터의 세로 및 가로 방향의 공간을 줄이는 연산 - 최대풀링(최대값 불러오는거) , 평균 풀링(평균값하는거) 있음. - 합성곱의 strides 파라미터와 마찬가지로 특징 맵을 풀링하는 간격을 지정 ▼ 위의 코드에서 풀링함수에 strides를 추가하고 층 add 할때 값을 추가해줌 > - 합성곱층과 마찬가지로 풀링층의 pad.. 2023. 8. 1. 이전 1 ··· 6 7 8 9 10 11 12 ··· 16 다음
