На каких предположениях основана линейная регрессия?

Основное предположение -- наличие линейной зависимости между признаками и целевым значением.

Есть более формальное математическое описание этих предположений:

Пусть y - целевое значение, а x - вектор признаков.

Тогда в линейной регрессии предполагается, что y на самом деле случайная величина из нормального распределения N(w' * x + b, S), где (w, b) - векторы весов линейной регрессии, (w' - транспонирование), S - матрица ковариации, которая не зависит от x. То есть это означает, что реальные значения y случайно разбросаны рядом с прямой w' * x + b

Подробнее об этом можно прочитать, например, в этой книге

[1] Bishop, Christopher M. "Pattern recognition." Machine learning 128.9 (2006).