Вы рассуждаете в терминах ньютоновской физики. А современная физика рассматривает гравитацию как искривление пространства-времени. В этом искривлённом пространстве свет и другие частицы движутся по таким траекториям, которые являются наиболее "прямыми", но для нас они будут выглядеть искривлёнными.
Лучше рассматривайте свет как волну. Вблизи массивных тел время идёт медленнее, поэтому волна поворачивает (преломляется), как это происходит и в обычной линзе. Часть фронта, которая ближе к массивному телу, движется медленнее, поэтому внешняя часть её обгоняет. Отсюда и происходит изменение траектории света.
Но это лишь простое объяснение, которое учитывает только замедление времени. В реальности нужно учитывать ещё и искривление пространства. Для маломассивных тел это не очень существенно, а для чёрных дыр - принципиально.