Как свести задачу многомерной нелинейной регрессии к последовательности линейных задач?

Нелинейность бывает разных типов. Если это нелинейность по переменным - то соответствующей заменой переменных, если по параметрам - соответствующим алгебраическим преобразованием. Может оказаться, что ничего не поможет, так что придется применять итерационные процедуры.

Если невязка в решении ожидается достаточно малой, а функция без особенностей, то линеаризацией.

Грубо говоря, вычисляем (или оцениваем) матрицу Якоби в точке приближения, решаем линейную задачу, получаем следующее приближение и т.д.. К примеру, в библиотеке NAG для этого есть E04FCF(), для Python есть пакет dfogn.