Потому что мы слишком короткоживущие зверушки. Самая быстрая из известных звёзд, звезда Барнарда, смещается чуть больше, чем на 10 угловых секунд за год. В телескоп её движение кое-как можно разглядеть, если смотреть всю жизнь.
https://upload.wikimedia.org/wikipedia/commons/thumb/6/6c/Barnard2005.gif/220px-Barnard2005.gif
Для других звёзд единственный вариант - сравнивать текущее расположение с записями предыдущих веков. Именно так впервые обнаружили движение звёзд, когда Галлей заметил, что Сириус, Арктур и Альдебаран в 18 веке оказались совсем не там, где они должны быть согласно Альмагесту, написанному во 2 веке.