Приведите примеры выпуклых функций потерь. Почему свойство выпуклости помогает строить смеси экспертов?

В линейной регрессии при использовании функции потерь MSE это всегда выпуклая функция в форме чаши, а градиентный спуск всегда может найти глобальные минимумы. В логистической регрессии, если мы используем MSE, это не будет выпуклой функцией, потому что функция гипотезы нелинейна (она использует сигмоидальную активацию). Таким образом, градиентному спуску будет сложнее найти глобальные минимумы. Однако, если мы используем кросс-энтропийную потерю, она будет выпуклой, и градиентный спуск может легко сходиться к глобальным минимумам.

Машины опорных векторов также имеют функцию выпуклых потерь.

Нам нужно всегда использовать выпуклую функцию потерь, чтобы градиентный спуск гарантировано мог сходиться к глобальным минимумам (без локальных оптимумов). Нейронные сети представляют собой очень сложные нелинейные математические функции, а функция потерь чаще всего невыпуклая, поэтому обычно возникает застревание в локальных минимумах. Однако большинство проблем оптимизации в нейронных сетях связано с наличием длинных плато и седловых точек, а не с локальными минимумами. Для таких задач были разработаны расширенные варианты оптимизации градиентного спуска - Momentum, Adam, RMSprop.

============================================

Среднеквадратическая ошибка

Среднеквадратическая ошибка (MSE) — это рабочая лошадка основных функций потерь; его легко понять и реализовать, и в целом он работает довольно хорошо. Чтобы рассчитать MSE, вы берете разницу между вашими прогнозами и истинным значением, возводите ее в квадрат и усредняете по всему набору данных.Реализованный в коде, MSE может выглядеть примерно так:

RMSE (среднеквадратичная ошибка)

Она представляет собой выборочное стандартное отклонение различий между прогнозируемыми и наблюдаемыми значениями (называемое остатками). Математически он рассчитывается по следующей формуле:

Функция потерь в логистической регрессии. Смотри  https://yandex.ru/q/business/12017084161/?answer_id=695dcec1-bbe0-4fd3-a59b-298dc583b154

По ссылке сверху :

Здесь Yi представляет фактический класс, а log(p(yi) - вероятность этого класса.  p(yi) - вероятность 1.

( 1-p(yi))  - вероятность 0.

Много пограничного в темах эксперта дает выпуклость множеств, что выигрывает на фоне узкопрофильных ответов, что классифицируется как низкая степень отобранности или избранности.