Если вы осознанно общаетесь только с людьми с проблемами и отстарняетесь от "адекватных" людей, то спросите себя сами почему? Возможно на этот вопрос вам поможет ответить психолог.
Также возможно вы слишком доверчивые и какие-то люди с недобрыми намереньями вами пользуются, будьте внимательнее.
Если эти люди неплохие, а просто странные и вам они действительно нравятся, то я не вижу проблемы, почему с ними нельзя общаться. Если вам комфортно с невротиком, это ваш человек, то почему нет? Возможно, это стереопиты общества. А если вас уже беспокоит эта проблема, то вам прямой путь к психологу.