Варианты:
Он напоминает на бессознательном уровне кого-то, кто был неприятен тебе своим поведением в прошлом.
Он сильно выходит за рамки твоих стандартов красоты, которые складывались не в реальном общении, а при просмотре фильмов.
Ты ему не нравишься, и ты считываешь неосознанно его невербальные сигналы об этом, и отвечаешь взаимностью.
Благодаря книжкам про чтение по лицам и жестам у тебя сложилось представление, что ты много можешь узнать, посмотрев на человека. И то, что ты "узнала", тебе не понравилось.