Какие методы и метрики оценки модели должен знать каждый?

Доверительный интервал (confidence Interval)— термин, используемый в математической статистике при интервальной оценке статистических параметров, более предпочтительной при небольшом объёме выборки, чем точечная. Доверительный интервал — это интервал, построенный с помощью случайной выборки из распределения с неизвестным параметром, такой, что он содержит данный параметр с заданной вероятностью.

Матрица ошибок (confusion matrix) — Это таблица с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице непредвиденных обстоятельств).

Полная статья о матрице ошибок здесь. Перевод на русский язык.

График прироста и подъема (Gain and Lift Chart). Рост - это мера эффективности прогнозирующей модели, рассчитываемая как соотношение между результатами, полученными с использованием прогнозной модели и без нее. Диаграммы совокупного прироста и роста являются наглядными пособиями для измерения производительности модели. Обе диаграммы состоят из кривой подъема и базовой линии.

Подробная статья здесь.

Оценка расстояния между эмпирической выборочной функцией распределения и кумулятивной функцией теоретического распределения, либо между эмпирическими функциями распределения двух выборок.

Критерий хи-квадрат(Chi Square) — любая статистическая проверка гипотезы, в которой выборочное распределение критерия имеет распределение хи-квадрат при условии верности нулевой гипотезы. Считается, что критерий хи-квадрат — это критерий, который асимптотически верен, то есть, выборочное распределение можно сделать как угодно близким к распределению хи-квадрат путём увеличения размера выборки.

ROC-кривая (ROC curve) - ROC-анализ представляет собой графический метод оценки качества работы бинарного классификатора и выбора порога для разделения классов. В основе метода лежит построение ROC-кривой (ROC — receiver operating characteristic – рабочая характеристика приёмника) — графического представления зависимости двух величин: чувствительности и специфичности.

Под чувствительностью понимается доля истинно-положительных классификаций в общем числе положительных наблюдений. Следовательно, чем выше чувствительность, тем более надёжно классификатор распознаёт положительные примеры.

Под специфичностью модели понимается доля истинно-отрицательных классификаций.

Индекс Джини (Gini index) — это статистический показатель, с помощью которого можно описывать характер изменения одной величины относительно изменения другой. Основным применением индекса Джини является оценка неравномерности распределения изучаемого признака (например, годового дохода) для различных социальных групп.

Среднеквадратичная ошибка (RMSE) Root Mean Square Error -

Ошибка RMS рассчитывается по следующей формуле, представляющей из себя формулу вычисления расстояния:

формула вычисления RMSE

Перекрёстная прове́рка (скользящий контроль, cross-validation) — метод оценки аналитической модели и её поведения на независимых данных. При оценке модели имеющиеся в наличии данные разбиваются на k частей. Затем на k−1 частях данных производится обучение модели, а оставшаяся часть данных используется для тестирования. Процедура повторяется k раз; в итоге каждая из k частей данных используется для тестирования. В результате получается оценка эффективности выбранной модели с наиболее равномерным использованием имеющихся данных.

Концепция предсказательной силы (Predictive power), способности научной теории генерировать проверяемые предсказания, отличается от объясняющей силы и описательной силы (где уже известные явления ретроспективно объясняются или описываются данной теорией) тем, что она позволяет провести перспективную проверку теоретических данных

Статья с перечислением метрик и моделей.