Если поведение этого человека изменить невозможно, тогда надо взвесить все "за" и "против" общения с ним.
К боли привыкнуть трудно, да и вредно это. Хотя некоторые терпят, например, ради денег.
Взвесьте всё и примите решение - быть с ним или расстаться. А может быть, можно просто ограничить общение.