세상을 바꾸는 데이터

교차검증이란? 별도의 여러 세트로 구성된 학습 데이터 세트와 검증 데이터 세트에서 학습과 평가를 수행하는 것 용어 정리 학습 데이터 세트: 알고리즘을 학습시키는 데이터 세트 검증 데이터 세트: 학습된 모델의 성능을 1차 평가하는 데이터 세트 테스트 데이터 세트: 모든 학습/검증 과정이 완료된 후 최종적으로 성능을 평가하는 데이터 세트 교차검증을 하는 이유 알고리즘을 학습시키려면 학습 데이터와 예측 성능을 평가하기 위한 별도의 테스트 데이터가 있어야 한다. 하지만 이 방법은 과적합(Overfitting)에 취약한 단점이 있다. 과적합은 모델이 학습 데이터에만 과도하게 최적화되어, 실제 예측을 다른 데이터로 수행할 경우에는 예측 성능이 과도하게 떨어지는 것을 말한다. 고정된 데이터로만 학습하고, 이를 테스트..