Что такое диагональный метод Левенберга-Марквардта?

Метод Левенберга-Марквардта, как и  Quasi-Newton  метод,является модификацией классического метода Гаусса-Ньютона для минимизации суммы квадратов функций. Метод Левенберга-Марквардта использует корректирующий множитель, чтобы найти направление для следующего приближения. Направление находится по формуле:

где D — диагональная матрица, главная диагональ которой совпадает с главной диагональю матрицы JtJ.

Поправочный множитель λ (коэффициент Марквардта) пересчитывается на каждой итерации метода, при этом он уменьшается, если целевая функция уменьшается (направление приближается к направлению Гаусса-Ньютона), и увеличивается при недостаточном уменьшении или невозможности убывание целевой функции.Направление приближается к

Пересчет длины шага α^s методом линейного перебора производится не на каждой итерации, а только при невозможности уменьшения целевой функции. Изменяется (увеличивается) и фактор Марквардта. Если пять последующих итераций не приводят к уменьшению целевой функции, алгоритм останавливается. Другие условия останова алгоритма Левенберга-Марквардта совпадают с условиями останова квази-ньютоновского алгоритма.

Использование метода Левенберга-Марквардта в функции наименьших квадратов - scipy.

Смотри пример на Пайтон   https://informatics-ege.blogspot.com/2022/09/diagonal-levenberg-marquardt-method.html