Есть огромное количество факторов, а чтобы понять, что конкретно вам мешает, нужно еще раз мысленно, а лучше реально оказаться в такой ситуации?
Может быть всех ваших собеседников связывало что-то общее? Темные волосы? Светлая кожа? кого они вам напоминали? вероятно, в них вы видите другого человека. вы проецируете его на них? вы бы хотели избежать общения именно с этим человеком, а не с вашим собеседником
Вам мешает какая-то деталь в образе человека? может быть, его социальный статус давит на вас и вам не хотелось бы, чтобы люди из такой соц. группы что-то думали о вас, ведь в их глазах вы можете оказаться, как умным, так и не очень.
А может быть вам мешают внутренние комплексы? вы боитесь показаться тупым, недостаточно эрудированным, необразованным, потому и молчите? просто, многие люди считают, что смогут защититься от создания такого мнения о себе другими людьми, если не скажут вообще ничего, ведь молчание это так "загадочно")