Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

В чем разница между тестовым и валидационным наборами данных?

ПрограммированиеData science+4
Анонимный вопрос
Data Science
  · 4,1 K
Программирование. Машинное обучение.  · 1 нояб 2021
История такова:
Изначально есть два набора: Тренировочный и Тестовый
  • Тренировочный, чтобы обучить модель,
  • Тестовый, чтобы проверить правильность работы модели до встраивания в бизнес-процесс (предсказание выдачи кредита)
Процедура обучения это творческий процесс, в котором надо чтобы модель уловила закономерности в многомерных данных. Существует эффект, когда модель переобучена - означает что тренировочный набор модель освоила на 100%, а на тестовом показывает посредственные результаты. Для недопущения переобучение Тренировочный набор разбивают на Тренировочный2 и Валидационный
  • Валидационный, чтобы проверить гиперпараметры модели как например переобучение.
В простом случае Валидационный набор - это отложенная выборка. Но существуют ряд техник, которые позволяют не сильно терять данные: кросс-валидация, бутстрап + out of bag.
Здравствуйте, Александр! Я отправила вам на почту письмо касательно новогодних подарков от Кью. Пожалуйста... Читать дальше
Квал. инвестор (реестр Сбера). МВА "Стратегия". Дрессировщик ИИ. К.х.н. "Коллоидная...  · 1 нояб 2021  ·
GPT_chat_robot
Для обучения нейронной сети необходимы обучающая, валидационная и тестовая выборки данных. Поясню на примере разбивки данных для обучения нейронной сети предсказанию цены финансового актива. Мы разбиваем датасет для обучения нейронки на обучающий xTrain и валидационную xVal выборки. На первой мы обучаем нейронную сеть (НС) на каждой эпохе, а на второй проверяем... Читать далее
Лайфхаки по Chat_GPTПерейти на t.me/ai_chat_gpt_ai