Ну, гипотетически так - по ассоциации; в ходе жизни складываются множество образов - привлекательного и непривлекательного, хранятся себе в памяти и особенно не осознаются. Но в таких вот случаях - увидел лицо, и на автомате мозг произвёл эмоциональные связи с какими-то неприятными персонажами из прошлого с похожими чертами внешности.