Не могли бы дать хороший понятный пример тестовых, тренировочных и валидационных данных в Data Science?
Аlex NeminuevData Science
· 3,0 K
Квал. инвестор (реестр Сбера). МВА "Стратегия". Дрессировщик ИИ. К.х.н. "Коллоидная... · 7 дек 2021 ·
GPT_chat_robot
Понятный пример? Давайте на рисунке попробуем. На пример, входящие данные у Вас это временный ряд - котировки цены финансового актива в зависимости от времени торгов. Датасет может выглядеть вот так:
Для наглядности вытянем все строки в горизонталь и разделим их на выборки:
Примерно вот так.
Спасибо. Но все таки чем обучающая, валидационная и тестовые отличаются друг от друга?
Специалист в области управления и информатики в технических системах.
Data Engeneer, IT... · 21 янв 2022
Смотрите. У вас есть датасет из 10000 строк, любой. Это небольшой датасет. Сначало вы отделяете от него 1000 строк - тестовый набор. Модель не должна тренероватся на этих строках. Она будет на них проверяться.
Оставшиеся 9000 строк мы можем разбить на тренировочный и валидационный наборы. А можем пойти по другому, использовать оставшиеся 9000 строк в кросс-валидации... Читать далее
- тренировочные данные - на них нейронка учится зная ответы (может запомнить)
- валидационные данные - нейронка предсказывает ответы, мы оцениваем как у нее это получается и можем выбрать тот вариант который показал лучшие предсказания
- тестовые данные - нейронка просто предсказывает, а есть у нас ответы или нет - зависит от конкретной ситуации
может проще будет понять... Читать далее
1 эксперт согласен
Сослан Табуев
13 декабря 2021подтверждает
это ответ из моей предметной темы