Здравствуйте, кросс-валидация - это один из подходов, применяемых при разделении выборки. Достоинством данного метода является попадание всех объектов в обучающую выборку. При обучении с учителем вы можете натолкнуться на проблемы с переобучением модели. Например, в обучающей выборке не окажется объектов тестового множества, и точность алгоритма начнет снижаться. Как раз в такой ситуации и стоит воспользоваться кросс-валидацией.
Краткая инструкция по применению данного метода:
1) обучающую выборку делим на несколько равных частей (фолдов), при этом одна из частей становится тестовой.
2) после прохождения процесса обучения алгоритма, мы заменяем тестовую выборку на одну из нетронутых обучающих.
3) предыдущий шаг повторяется столько же раз, сколько разбиений в первоначальной выборке было совершено.
Конечно, у метода есть и недостатки, одним из которых является многократное обучение модели. Но к счастью кросс-валидация не единственный способ борьбы с переобучением, можно воспользоваться отложенной выборкой, а если у вас слишком маленькая ошибка на обучающей выборке, то уже стоит взять на вооружение регуляризацию)