Как выражается функция потерь в логистической регрессии?

Log Loss — наиболее важная метрика классификации, основанная на вероятностях. Трудно интерпретировать необработанные значения логарифмических потерь, но логарифмические потери по-прежнему являются хорошей метрикой для сравнения моделей. Для любой заданной проблемы более низкое значение потерь журнала означает лучшие прогнозы.

Математическая интерпретация:

Log Loss — это отрицательное среднее значение журнала скорректированных предсказанных вероятностей для каждого экземпляра.

Давайте разберемся на примере:

Модель дает предсказанные вероятности, как показано выше.

Каковы скорректированные вероятности?

-> По умолчанию выход модели логистической регрессии представляет собой вероятность того, что выборка будет положительной (обозначается 1), т. е. если модель логистической регрессии обучена классификации на «наборе данных компании», тогда в столбце прогнозируемой вероятности указано, что такое вероятность того, что человек купил куртку. Здесь в приведенном выше наборе данных вероятность того, что человек с ID6 купит куртку, равна 0,94.

Точно так же вероятность того, что человек с ID5 купит куртку (т. е. будет принадлежать к классу 1), равна 0,1, но фактический класс для ID5 равен 0, поэтому вероятность для класса равна (1-0,1) = 0,9. 0,9 — правильная вероятность для ID5.

Журнал скорректированных вероятностей для каждого экземпляра.

Как видите, эти значения журнала отрицательны. Чтобы иметь дело с отрицательным знаком, мы берем отрицательное среднее этих значений, чтобы сохранить общее соглашение о том, что чем меньше оценка потерь, тем лучше.

Чтобы найти Log Loss надо три шага:

1.Найти скорректированные вероятности.

2.Возьмите журнал скорректированных вероятностей.

3.Возьмите отрицательное среднее значений, которые мы получили на 2-м шаге.

Здесь Yi представляет фактический класс, а log(p(yi) - вероятность этого класса. 

p(yi) — вероятность 1. 

1-p(yi) — вероятность 0.