Я бы поступил так: принял данную проблему не как проблему, а как свою особенность, и таким образом убрал избыточный контроль своих эмоций и мыслей со стороны и , (как бы это назвать-то...) "самокопательную псевдонапряженность". Позволил бы себе такой индивидуальный оценочный подход к собеседникам и расслабился. Мне кажется, что это было бы прекрасным первым шагом к нивелированию напряженности в таких моментах.
Это нормально. Нужно получать удовольствие от этого. С другой стороны, мне просто повезло тем, что работаю в женском коллективе. Иначе тоже были бы проблемы.
Вомзожно вам стоить обратить внимание на дружеские партнёрские отношения. Для этого можно пойти на какие-нибудь курсы саморазвития, где много мужчин. Желательно командные игры или танцы, где есть множество мужчин. Потому как при работе в команде вы перестанете от обилия дружеских отношений видеть в каждых намек, увидите ценность дружбы.