Знаю мужчину,который отдаляется от людей заинтересовавших его на уровне симпатии.Обосновывая это тем,что недостоин собеседника/боится навредить.Как это понять?

Это понимать так, что вы его недостаточно заинтересовали, скорее всего... Я вот тоже долгое время общаюсь с человеком, которого я недостойна. Да, отдалялась, но отпустить то, что мне так дорого и интересно, все равно выше моих сил.) Поверьте, если вы интересны  человеку, он будет проявлять к вам внимание, каких бы физических и моральных терзаний это ни стоило....(. Увы.