Вы тянетесь к источнику боли, вы это давно уже уяснили, как мне кажется. И если ваш "краш" не будет вас покусывать, он будет вам менее интересен. Наверняка это не единственный случай его "укусов".
Внутри данной ситуации проблема не в том, что вас это задевает, а в первую очередь в том, что он позволяет себе это говорить, а потом сваливает вину за вашу реакцию на вас.
Конечно же, нужно уметь не принимать близко к сердцу подобное. Но это в тех случаях, когда вы не близки с человеком, т.к. это выстраивание границ с отдалением. Если же вы доверяете человеку, открываетесь, а он "кусает", здоровой реакцией будет сказать, что вам это не нравится.
Но, вернусь к началу, вас не устраивает комфорт и спокойствие, и на этом основывается данная ситуация.