К сожалению я не обладаю достаточной квалификацией в психологии, чтобы дать строго научный ответ. Думаю, некоторые затруднения испытал бы и профессиональный психолог. Отвечу как историк и социолог. Представьте, что Вы в стране где никто не знает русского, а Вы не знаете языка этой страны и никак не можете им овладеть. И тут вдруг появляется уродливый и дурно пахнущий соотечественник. Если он не станет делать Вам зла, то Вы неизбежно почувствуете к нему некоторое притяжение просто потому что можете общаться с ним. Если же Вы проживете годик на необитаемом острове, то почувствуете притяжение и к иностранцу из той самой страны. Даже не зная его языка, Вам все-таки с ним лучше, чем вообще без человека вокруг.
В обычной жизни включаются те же механизмы, но так как выбор очень велик, притяжение возникает только к некоторым людям, с которыми нам лучше всего, комфортнее, интереснее, кому доверяем, и т. п. Про любовь вообще молчу:)
Соответственно, отторгаемые люди это абсолютные аутсайдеры нашего личного выбора, если мы конечно априори исключаем из рассмотрения тех в ком видим угрозу себе.