Приведите примеры неквадратичных функций потерь в регрессионных задачах. С какой целью они вводятся?

================================

Средняя абсолютная ошибка (MAE)

===============================

Средняя абсолютная ошибка (MAE) лишь немного отличается по определению от MSE, но обладает почти точно противоположными свойствами Чтобы рассчитать MAE, вы берете разницу между предсказаниями вашей модели и истинным значением, применяете абсолютное значение к этой разнице, а затем усредняете ее по всему набору данных.

MAE, как и MSE, никогда не будет отрицательным, поскольку в этом случае мы всегда берем абсолютное значение ошибок. MAE формально определяется следующим уравнением:

Преимущество: Плюс MAE в том, что его преимущество напрямую перекрывает недостаток MSE. Поскольку мы берем абсолютное значение, все ошибки будут взвешены по одной и той же линейной шкале. Таким образом, в отличие от MSE, мы не будем придавать слишком большого значения нашим выбросам, а наша функция потерь обеспечивает общую и даже меру того, насколько хорошо работает наша модель.

Недостаток: если мы действительно заботимся о прогнозах, выпадающих из нашей модели, то MAE не будет столь эффективным. Большие ошибки, возникающие из-за выбросов, в конечном итоге взвешиваются точно так же, как и меньшие ошибки. Это может привести к тому, что наша модель будет отличной большую часть времени, но время от времени будет давать несколько очень плохих прогнозов.

===========

Хубер Лосс

===========

Мы знаем, что MSE отлично подходит для изучения выбросов, а MAE — для их игнорирования. 

Рассмотрим пример, когда у нас есть набор данных из 100 значений, которые мы хотели бы, чтобы наша модель научилась прогнозировать. Из всех этих данных 25% ожидаемых значений равны 5, а остальные 75% — 10.  Потеря MSE не совсем поможет, поскольку у нас действительно нет «выбросов»; 25% — это отнюдь не маленькая доля. С другой стороны, мы не обязательно хотим занижать эти 25% с помощью MAE. Эти значения 5 не близки к медиане (10 — поскольку 75% баллов имеют значение 10), но они также не являются выбросами.

Решение ? - Функция потерь Хьюбера.

По сути, это уравнение говорит следующее: для значений потерь меньше дельты используйте MSE; для значений потерь больше дельты используйте MAE. Это эффективно сочетает в себе лучшее из обоих от двух функций потерь. Использование MAE для больших значений потерь уменьшает вес, который мы придаем выбросам, так что мы по-прежнему получаем всестороннюю модель. В то же время мы используем MSE для меньших значений потерь, чтобы поддерживать квадратичную функцию вблизи центра.

Вы будете использовать потерю Хьюбера каждый раз, когда почувствуете, что вам нужен баланс между приданием выбросам некоторого веса, но не слишком большого. В случаях, когда выбросы очень важны для вас, используйте MSE.  В тех случаях, когда вас совершенно не волнуют выбросы, используйте MAE

Смотри Пайтон код  https://informatics-ege.blogspot.com/2022/08/the-3-most-common-loss-functions-for.html