Обзор смещения и дисперсии
В управляемом машинном обучении алгоритм изучает модель на основе данных обучения.
Цель любого контролируемого алгоритма машинного обучения - наилучшим образом оценить функцию отображения (f) для выходной переменной (Y) с учетом входных данных (X). Функцию сопоставления часто называют целевой функцией, потому что это функция, к приближению которой стремится данный контролируемый алгоритм машинного обучения. Ошибка предсказания для любого алгоритма машинного обучения может быть разбита на три части:
Ошибка смещения
Ошибка отклонения
Неприводимая ошибка
Невозможно уменьшить неснижаемую ошибку независимо от того, какой алгоритм используется. Это ошибка, вызванная выбранным образом проблемы и может быть вызвана такими факторами, как неизвестные переменные, которые влияют на отображение входных переменных в выходную переменную. В этом посте мы сосредоточимся на двух частях, на которые можем влиять наши алгоритмы машинного обучения. Ошибка смещения и ошибка дисперсии.
======================================
Ошибка смещения
Смещение - это упрощающие допущения, сделанные моделью для облегчения изучения целевой функции. Как правило, линейные алгоритмы имеют большой уклон, что делает их быстрыми для изучения и более легкими для понимания, но в целом менее гибкими. В свою очередь, они имеют более низкую эффективность прогнозирования сложных проблем, которые не соответствуют упрощающим предположениям смещения алгоритмов. Низкое смещение: меньше предположений о форме целевой функции. Высокий сдвиг: предлагает больше предположений о форме целевой функции.
===================================
Примеры алгоритмов машинного обучения с низким смещением
включают: деревья решений, k-ближайших соседей и машины опорных векторов.
Примеры алгоритмов машинного обучения с высоким смещением: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия.
====================================
Ошибка отклонения
Дисперсия - это величина, на которую изменится оценка целевой функции, если использовались разные данные обучения.
Целевая функция оценивается на основе данных обучения алгоритмом машинного обучения, поэтому следует ожидать, что алгоритм будет иметь некоторую дисперсию. В идеале он не должен слишком сильно меняться от одного набора обучающих данных к другому, а это означает, что алгоритм хорош в выборе скрытого базового сопоставления между входными и выходными переменными.
Алгоритмы машинного обучения с высокой дисперсией сильно зависят от специфики обучающих данных. Это означает, что специфика обучения влияет на количество и типы параметров, используемых для характеристики функции отображения.
Низкая дисперсия: предлагает небольшие изменения в оценке целевой функции с изменениями в наборе обучающих данных.
Высокая дисперсия: предлагает большие изменения в оценке целевой функции с изменениями в наборе обучающих данных.
Как правило, алгоритмы нелинейного машинного обучения, которые обладают большой гибкостью, имеют большую дисперсию. Например, деревья решений имеют высокую дисперсию, которая даже выше, если деревья не обрезать перед использованием.
=====================================
Примеры алгоритмов машинного обучения с низкой дисперсией: линейная регрессия, линейный дискриминантный анализ и логистическая регрессия.
Примеры алгоритмов машинного обучения с высокой дисперсией включают: деревья принятия решений, k-ближайших соседей и машины опорных векторов.
===================================
Компромисс смещения и отклонения
Цель любого алгоритма машинного обучения с учителем - добиться низкого уровня систематической ошибки и дисперсии. В свою очередь, алгоритм должен обеспечивать хорошие характеристики прогнозирования. Вы можете увидеть общую тенденцию в приведенных выше примерах:
Алгоритмы линейного машинного обучения часто имеют высокую систематическую ошибку, но низкую дисперсию.
Алгоритмы нелинейного машинного обучения часто имеют низкую систематическую ошибку, но большую дисперсию.
Параметризация алгоритмов машинного обучения часто является борьбой за уравновешивание предвзятости и дисперсии. Ниже приведены два примера настройки компромисса смещения и дисперсии для конкретных алгоритмов:
Алгоритм k-ближайших соседей имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив значение k, которое увеличивает количество соседей, которые вносят вклад в прогноз, и,в свою очередь, увеличивает смещение модели.
=================================
Алгоритм машины опорных векторов имеет низкое смещение и высокую дисперсию, но компромисс можно изменить, увеличив параметр C, который влияет на количество нарушений допустимого запаса в обучающих данных, что увеличивает смещение, но уменьшает дисперсию.
Невозможно избежать взаимосвязи между систематической ошибкой и дисперсией в машинном обучении.
Увеличение смещения уменьшит дисперсию.
Увеличение дисперсии уменьшит смещение.
Существует компромисс между этими двумя проблемами, и алгоритмы, которые вы выбираете, и способ их настройки находят разные балансы в этом компромиссе для вашей проблемы.
В действительности, мы не можем вычислить реальные смещения и ошибки дисперсии, потому что мы не знаем фактическую основную целевую функцию. Тем не менее, в качестве основы
смещения и дисперсии предоставляют инструменты для понимания поведения алгоритмов машинного обучения в стремлении к прогнозной производительности.
===================================
Резюме
В этом посте вы обнаружили смещение, дисперсию и компромисс смещения-дисперсии для алгоритмов машинного обучения.
Теперь вы знаете, что:
Смещение - это упрощающие допущения, сделанные моделью для упрощения аппроксимации целевой функции.
Дисперсия - это величина, на которую оценка целевой функции изменится при различных данных обучения.
Компромисс - это противоречие между ошибкой, вызванной смещением, и дисперсией.