Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Не могли бы дать хороший понятный пример тестовых, тренировочных и валидационных данных в Data Science?

Аlex Neminuev
Data Science
  · 3,0 K
Специалист в области управления и информатики в технических системах. Data Engeneer, IT...  · 21 янв 2022
Смотрите. У вас есть датасет из 10000 строк, любой. Это небольшой датасет. Сначало вы отделяете от него 1000 строк - тестовый набор. Модель не должна тренероватся на этих строках. Она будет на них проверяться.
Оставшиеся 9000 строк мы можем разбить на тренировочный и валидационный наборы. А можем пойти по другому, использовать оставшиеся 9000 строк в кросс-валидации (потому что изначально набор данных небольшой). Примеры датасетов вы можете найти на платформе Kaggle по ссылке ниже: https://www.kaggle.com/datasets
Квал. инвестор (реестр Сбера). МВА "Стратегия". Дрессировщик ИИ. К.х.н. "Коллоидная...  · 7 дек 2021  ·
GPT_chat_robot
Понятный пример? Давайте на рисунке попробуем. На пример, входящие данные у Вас это временный ряд - котировки цены финансового актива в зависимости от времени торгов. Датасет может выглядеть вот так: Для наглядности вытянем все строки в горизонталь и разделим их на выборки: Примерно вот так. Читать далее
Лайфхаки по Chat_GPTПерейти на t.me/ai_chat_gpt_ai
Спасибо. Но все таки чем обучающая, валидационная и тестовые отличаются друг от друга?
Data Scientist, Machine Learning  · 8 дек 2021
- тренировочные данные - на них нейронка учится зная ответы (может запомнить) - валидационные данные - нейронка предсказывает ответы, мы оцениваем как у нее это получается и можем выбрать тот вариант который показал лучшие предсказания - тестовые данные - нейронка просто предсказывает, а есть у нас ответы или нет - зависит от конкретной ситуации может проще будет понять... Читать далее
1 эксперт согласен
это ответ из моей предметной темы