Для девушки мат от незнакомого в общественном месте обычно является подозрением на асоциальность или причастность к среде "гопников".
Поэтому у человека с повышенной тревожностью и страхом конфликта (обычно это закладывается в детстве конфликтами родителей) матерящиеся люди могут пробуждать старые детские неприятные воспоминания.
А в среде своей компании мат при девушках во-первых не несет агрессии, а используется как "приправа", расцвечивающая скучные разговоры. А во-вторых "свои" обычно достаточно изучены, проверены и не несут опасности агрессии.
И в третьих, мы в своей компании ведем себя более терпимо, стараясь адаптироваться, опасаясь быть отвергнутыми из-за излишней придирчивости.
А с посторонними можем позволить себе большую принципиальность и легче вступаем в конфликт, защищая мир от агрессии, в автобусе например.