Для начала нужно признать, что у вас есть эта фобия и вы не всемогущий господь, чтобы их не иметь. Фобия это не катастрофа. Фобии есть у всех в том числе и у тех, кому этот человек про вас рассказывает.
Кстати, он потому и рассказывает другим о вас, потому что пытается таким образом повысить свою самооценку, скрывая о самом себе нечто, что, ему неприятно. Самодостаточный человек так себя не ведет.