Как свести задачу многомерной нелинейной регрессии к последовательности линейных задач?
ПрограммированиеМашинное обучение+3
Анонимный вопросМашинное обучение и Нейронные сети
· 24,1 K
Cвести задачу представления многомерной нелинейной регрессии к представлению в виде последовательности линейных задач - это весьма нетривиальная задача и дать ответ в виде формализованной последовательности действий - полагаю невозможно.
Это как спросить - "как найти решение неоднородных дифференциальных уравнений высших порядков?". Правильный ответ - для разных уравнений, способы и методы решения будут различными.
Я могу попытаться дать некоторый ответ лишь в общем виде ==>
Несколько явлений могут быть соединены между собой нелиней ными соотношениями. В этом случае для описания зависимостей, как правило используют множественную нелинейную регрессию, при этом также различают множественную нелинейную регрессию первого и второго классов (не буду останавливаться подробно, желающие могут ознакомиться с методами корреляционного и регрессионного анализа, например тут: https://scask.ru/g_book_mkor.php?id=1).
Некоторые функции, такие как показательная (
) или логарифмическая, иногда могут быть сведены к линейному случаю и может быть применена стандартная линейная регрессия. Сведение задач нелинейной регрессии к линейным, путём подходящего преобразования, называется «Линеаризация». Но в общем случае представления в замкнутом виде (как в случае линейной регрессии) может и не быть.
Процедуру линеаризации в решении нелинейной задачи регрессии, можно посмотреть, например, здесь:
Одним из способов сведения задачи многомерной нелинейной регрессии к последовательности линейных задач является использование итеративного метода, такого как алгоритм Гаусса-Ньютона.
Алгоритм Гаусса-Ньютона начинается с начального предположения для параметров регрессионной модели, а затем итеративно улучшает это предположение, линеаризуя модель вокруг текущей оценки... Читать далее
Если невязка в решении ожидается достаточно малой, а функция без особенностей, то линеаризацией.
Грубо говоря, вычисляем (или оцениваем) матрицу Якоби в точке приближения, решаем линейную задачу, получаем следующее приближение и т.д.. К примеру, в библиотеке NAG для этого есть E04FCF(), для Python есть пакет dfogn.
Нелинейность бывает разных типов. Если это нелинейность по переменным - то соответствующей заменой переменных, если по параметрам - соответствующим алгебраическим преобразованием. Может оказаться, что ничего не поможет, так что придется применять итерационные процедуры.
1 эксперт согласен
Существует несколько методов для сведения задачи многомерной нелинейной регрессии к последовательности линейных задач. Один из наиболее распространенных методов - это линеаризация нелинейной функции в каждой точке регрессионной выборки и последующая линейная регрессия на линеаризованных данных.
Пусть имеется набор данных, состоящий из n наблюдений (x_1, y_1), (x_2... Читать далее