Теперь Кью работает в режиме чтения

Мы сохранили весь контент, но добавить что-то новое уже нельзя

Как происходит выбор модели в Data Science ?

ПрограммированиеData science+3
  · 6,6 K
Openstack DevOps and IBM/Informix Certified DBA . Phd in Math (Duality of spaces of...  · 27 янв 2022
Общие шаги для машинного обучения/глубокого обучения:
Собирать данные
Проверьте наличие аномалий, отсутствующих данных и очистите данные
Выполнить статистический анализ и первоначальную визуализацию
Построить модели
Проверьте точность
Представьте результаты
==================================
Задачи машинного обучения можно разделить на
Контролируемое обучение
Неконтролируемое обучение
Полуконтролируемое обучение
Обучение с подкреплением
В этом документе — мы не акцентируем внимание на двух последних
=================================
Ниже приведены некоторые подходы к выбору модели для машинного обучения/глубокого обучения.
=================================
ОБЩИЕ ПОДХОДЫ
Работа с несбалансированными данными: используйте стратегии передискретизации. Создание новых функций: анализ основных компонентов (PCA) для уменьшения размерности, автоэнкодеры для создания скрытого пространства и, возможно, кластеризация для создания новых функций.Чтобы предотвратить переобучение, выбросы и шум в линейной регрессии, используйте такие методы регуляризации, как lasso и ridge.
Преодоление проблемы искусственного интеллекта «черного ящика» — рассмотрите стратегии построения интерпретируемых моделей. Алгоритмы, не чувствительные к выбросам: рассмотрите выбор случайного леса для преодоления выбросов.
==============================
МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ
==============================
Первый подход к прогнозированию непрерывных значений: линейная регрессия, как правило, является хорошим первым подходом к прогнозированию непрерывных значений (например, цен).
=============================
Бинарная классификация: логистическая регрессия является хорошей отправной точкой для бинарной классификации. Метод опорных векторов SVM также является хорошим выбором для двухклассовой классификации.
=============================
Многоклассовая классификация: Случайный лес — это выбор для многоклассовой классификации. См. Использование SVM и Random Forest
Есть ли самая простая или легкая категория моделей, с которой можно начать? Деревья решений часто кажутся простыми для понимания и использования. Деревья решений реализуются с помощью таких моделей, как случайный лес или повышение градиента (Random forest or Gradient boosting )
===============================
МОДЕЛИ ГЛУБОКОГО ОБУЧЕНИЯ
===============================
Сложные функции, которые не могут быть легко определены, но у вас есть большое количество помеченных примеров:
Многослойные персептроны
Машинное обучение на основе зрения: классификация изображений, обнаружение объектов, сегментация изображений — сверточные нейронные сети
Задачи моделирования последовательности: RNN (обычно LSTM) для задач моделирования последовательности, например, классификация текста или языковой перевод.
Увлекаюсь физикой, астрономией и финансами.  · 29 июл 2022  · forecast.nanoquant.ru
Все модели делятся на обучаемые с учителем и без учителя. Для первых моделей нужен такой датасет, который содержит разметку, то есть уже имеет правильные ответы. Модель обучают на таких примерах с известными ответами в надежде, что у новых данных без разметки тоже удастся определить ответы, которые будут достаточно близки к реальности. Вторые модели применяются, когда... Читать далее
Эксперт по оптимизации инвестиционного портфеля и прогнозированию биржевых цен.Перейти на forecast.nanoquant.ru