Меня саму этот вопрос мучает уже очень давно. Самая я пришла к выводу, что "приязнь" или "неприязнь" к определённому типу человека у нас заложена в подсознание и формируется там благодаря жизненному опыту и людям, которых мы встречаем на своём жизненном пути.
Для примера, предположим, что у вас в начальной школе была учительница, которая к вам негативно относилась. В последствии люди, которые даже косвенно будут её напоминать (тоном голоса, походкой, причёской) вызовут у вас отрицательный эмоции и может пройти давольно-таки много времени прежде чем вы поймёте, что именно вызвало данную ассоциацию.
Ту же самую параллель можно провести и с имени. Если у вас был какой-то негативный (особенно если ещё и очень эмоциональный) опыт с определённым человеком, то в будущем услышав её/его имя, и ещё даже не увидев человека, у вас автоматически возникнут соответствующие ассоциации.