Может ли притягивать не сам человек, а лишь внимание с его стороны, или без симпатии к самой персоне это невозможно?

Как мне кажется, возможно, но сложнее, чем если у тебя к человеку есть симпатия. 
Все мы по своей натуре эгоистичны(это не в оскорбительном смысле, просто потому что у человека есть только он) и привязанность другого человека к себе, заставляет испытывать симпатию к нему.