Существует несколько методов для сведения задачи многомерной нелинейной регрессии к последовательности линейных задач. Один из наиболее распространенных методов - это линеаризация нелинейной функции в каждой точке регрессионной выборки и последующая линейная регрессия на линеаризованных данных.
Пусть имеется набор данных, состоящий из n наблюдений (x_1, y_1), (x_2, y_2), …, (x_n, y_n), где каждое наблюдение состоит из многомерного входного вектора x_i и соответствующего выходного значения y_i.
- Линеаризация нелинейной функции
Линеаризация функции f(x) в точке x_i можно выполнить с помощью разложения Тейлора в окрестности x_i. Для функции f(x) можно записать следующее разложение в окрестности x_i:
f(x) ≈ f(x_i) + J(x_i)(x - x_i)
где J(x_i) - якобиан функции f(x) в точке x_i.
- Линейная регрессия
После линеаризации функции f(x_i), каждое наблюдение (x_i, y_i) можно записать в следующем виде:
y_i ≈ f(x_i) + J(x_i)(x_i - x_i) = f(x_i)
Теперь мы можем рассматривать каждое наблюдение (x_i, y_i) как линейную комбинацию f(x_i) и еще одной переменной (x_i - x_i). Мы можем использовать линейную регрессию для оценки коэффициентов f(x_i) и (x_i - x_i) на основе набора данных, после чего мы можем использовать оцененные коэффициенты для предсказания значений y для новых входных данных.
- Итерационный процесс
Этот процесс можно повторить для каждого x_i в регрессионной выборке, чтобы получить оценки f(x) для всех входных данных. Обычно процесс линеаризации и линейной регрессии повторяется несколько раз, чтобы улучшить оценки коэффициентов.
Таким образом, мы можем свести задачу многомерной нелинейной регрессии к последовательности линейных задач, используя линеаризацию нелинейной функции в каждой точке регрессионной выборки и последующую линейную регрессию на линеаризованных данных.