возможно он чувствует или даже знает за собой определенные проблемы будь то психологические ( комплексы, страхи, фобии), материальные ( бедность, жизненная неустроенность, неудачи, "проклятия", которые преследуют его по жизни), сложности связанные со здоровьем( болезни, которыми он может заразить других и прочее) и он с одной стороны ищет отношения и нуждается в них, с другой - не хочет втягивать в свою проблемную жизнь понравившегося ему человека.
У меня кстати в молодости было нечто подобное - в связи с тем, что я рос в очень проблемной семье, где родители всю мою сознательную жизнь ссорились, враждовали друг с другом, отец пристрастился к алкоголю и стал пьяницей и наша жизнь превратилась в ад со всеми вытекающими поэтому я с одной стороны имел нужду в отношениях с девушками, с другой - избегал их, морозился, как то уклонялся потому что чувствовал что ни к чему хорошему это не приведёт. Вот такой когнитивный диссонанс. Может и здесь такой случай.
Это понимать так, что вы его недостаточно заинтересовали, скорее всего... Я вот тоже долгое время общаюсь с человеком, которого я недостойна. Да, отдалялась, но отпустить то, что мне так дорого и интересно, все равно выше моих сил.) Поверьте, если вы интересны человеку, он будет проявлять к вам внимание, каких бы физических и моральных терзаний это ни стоило....(. Увы.