Вы отчасти уже сами ответили на свой вопрос: раздражает, потому что - есть вынужденность.
То есть, вы этих людей себе в коллеги не выбирали (и, уж, тем более - в друзья). И даже являясь по сути хорошими людьми, как вы их сами характеризуете, они все равно вам не так близки по духу, как может быть при интуитивном выборе друга. И общение с ним - лишь дополнение к работе, а не ваш личный выбор. Какими вежливыми и милыми эти люди не являлись бы.
А есть уйти в анализе ситуации на "слой" ниже, то можно увидеть и более глубинные причины: личностные качества тех, к кому человек не равнодушен, могут резонировать с его личностными качествами, побуждая на те или иные реакции. В том числе, и на раздражение, отторжение.
Допустим, в вашем случае может быть так: либо вы видите в этих людях, то, что вам сложно принять в самой себе (проанализируйте для себя, что больше всего "выбешивает", в ком именно - в сопоставлении с собой, со своим Я), либо вы видите в них то, что вам сложно позволить реализовать себе.
Психика посредством такой реакции - побуждение выдерживать дистанцию с людьми, отстраняться от них - нередко защищает от столкновения с неким негативом в нас самих: то, что мы видим неприятным в других - мы не хотим/не можем замечать в себе (не все готовы к знакомству с собой настоящим - это порой больно, страшно, тревожно).
Приведу простой пример: начальницу отдела по продажам компании N сильно раздражала сотрудница, которая при всей своей "неидеальности" фигуры (по мнению начальницы) с удовольствием носила мини-юбки.
Почему?
Потому что начальница видела в ней то, что сама себе она не в силах была позволить - плюнуть на сверх-требовательность к самой себе (даже с учетом привлекательности той начальницы), к своей фигуре и начать носить на работу то, что приносит ей радость. Но проблемы с принятием себя не давали ей реализовать задуманное.
А здоровая раскрепощенность той девушки, ее безусловная любовь к себе, к своему телу вызывало внутренний протест у начальницы: "она может себе это позволить, а я - нет".
Из заниженной самооценки и низкой самозначимости формировалась реакция начальницы на сотрудницу. Девушка олицетворяла для начальницы недостижимый на тот момент для нее уровень отношений с собственным Я.
Поэтому, чтобы нейтрализовать реакцию раздражения на коллег, нужно понять, что в них резонирует с вашим Я. И определившись, далее работать в этом направлении, чтобы освободиться от такого рода деструктивных проекций.