Возможны несколько вариантов:
человек чем-то напоминает вам другие ваши отношения, где вы испытывали не самые приятные чувства; иногда сложно понять чем, это может быть манера поведения, жесты, внешность, даже запах духов и иные мелочи;
человек позволяет себе что-то, что вы себе не позволяете, имеет что-то, что вы бы хотели иметь для себя, так возникает зависть, не всегда осознаваемая, и раздражение;
человек так строит свои взаимоотношения, он заинтересован, чтобы другие на него раздражались, например, его замечали в детстве близкие только когда он их сердил, и для него было лучше хотя бы такое внимание, чем никакого; чаще эта штука работает неосознанно.
Потому что это на уровне подсознания. Вам в жизни встречался подобный человек. Что-то случилось нехорошее. Мозг запомнил. Встреча с подобным человеком вызывает отрицательную реакцию.