Подобные люди к Вам липнут по одной причине - Вы для них безопасны.
Так как у Вас есть жизненный опыт общения и постоянного контактирования с людьми такого типа, то Вы не шарахаетесь от них, не демонстрируете эмоцию отвращения и пренебрежения, которые выражаются на лице мимически. В их присутствии Вы спокойны и невозмутимы, а они воспринимают невербальные сигналы как доброжелательность и отсутствие опасности.
Ваша проблема в том, что Вы их принимаете такими какие они есть, доступны для них и не даёте сигнал - не подходи. Вы по внешним признакам, скорее всего, не сильно отличаетесь от их социального круга, то есть по Вам они видят, что вы из одной социальной общности, а значит "свой" человек, с которым возможно общение.