Ты не можешь никого "злить" - человек злится, потому что таков его способ реагировать. Их эмоции это факты их биографии, а твои - это твои. Ты не отвечаешь за чужую злость, обиду, раздражение, радость и т.д.
"Что делать с раздражением" - твоё раздражение это реакция на то, что ты запрещаешь себе испытывать и выражать злость или обиду, говорить что думаешь или просто уйти от неприятного тебе человека - иначе говоря, твой набор возможных реакций мал и сводится к "терпению"; разобраться в собственных мотивах и "картине мира" - первое дело.