С некоторыми уточнениями - да.
Первое - есть объективные раздражители. Например, кричащий ребёнок будет раздражать отнюдь не потому, что вы себе не кричите, а потому что он объективно такой))
Второе - не то, что "не принимаем", а то, что "запрещаем".
Например, если человек не любит опоздуна на работу - это не потому, что он склонен опаздывать, а потому что он себе это запрещает. Вместо мотивации ("я прихожу на работу вовремя, потому что лично мне так комфортнее, спокойнее, у меня лучше отношения с начальством") получается необоснованный запрет ("я не опаздываю, потому что так положено"). И когда кто-то нарушает такой запрет - это раздражает, потому что - ну, как, я себе запрещаю и ничего с этого не имею, а он - нет. Да как он посмел.
Человек с мотивацией своих поступков может отнестись к этому отрицательно, но бесить его это не будет.
Пример из собственной жизни - когда отрастил длинные волосы, многим это показалось странным, но никто не возникал. Кроме двух категорий людей - кавказцы (не положено, потому что не по-мужски) и военные (не положено, потому что не по уставу).
С этим связана хорошая практика - если что-то раздражает такое, субъективное, то нужно в первую очередь понять, почему вы себе это запрещаете, и что получаете от этого запрета.
Как-то так.