Почему считается постыдным смотреть на других людей, при этом все любят рассматривать друг друга?

Зависит от того, куда и как смотреть )

Если заинтересованно в глаза собеседнику или на оратора на сцене, никакого дискомфорта это не вызовет.

А если начать пристально рассматривать фигуру женщины в общественном транспорте - может вызвать недоумение и дискомфорт как минимум у той самой женщины.

Здесь основной момент в том, что если это рассматривание неуместно, то вызывает неприятное чувство у того, на кого смотрят.

Повышенное внимание с непонятным мотивом бессознательно воспринимается как опасность и рамки приличия здесь, это скорее как защита для самих себя.