Во-первых, далеко не всегда.
Я, например, в школе примерно до 6-го класса был ужасным "тихоней"; всё время читал, даже на уроках. На которые у тому же часто опаздывал; а на перемену практически не ходил (сидел и читал, в классе).
Меня обзывали, пинали... вне школы иногда били и оскорбляли всячески. Школа была расположена в самом хулиганском районе Пушкина (софия), а наш класс во всей школе считался самым "трудным".
В то время я ещё не знал, но в районе был высокий уровень преступности. Таким, о каком в СМИ не рассказывают.
Я был мнителен. Однако при всём этом никаких особых гадостей обо мне не говорили. Максимум, что заранее готовлюсь к урокам (у нас это считалось нечестным).
В-вторых, о мнительности. Многие тихие люди не только другими воспринимаются как "омут, в котором черти", но и сами довольно подозрительны в отношении других (и мнительны). Склонны к преувеличению.
А поскольку молчаливы, общения мало, в сознании одно за другое цепляется:
Муж поздно приходит — значит, любовница. А раз любовница, она меня не уважает и обо мне плохо думает. И наверняка говорит, они же разговаривают иногда...
— и так далее; причём даже если вдруг выясняется, что любовницы никогда не было (если однажды была, вообще кошмар), далеко не всё в этом рассуждении признаётся неверным: любовницы нет, а гадости есть...
В-третьих, люди говорят о других гадости обычно вовсе не потому, что именно этих других считают опасными. Для этого всемирный заговор есть, и прочие потусторонние и просто далёкие, чуждые существа. Люди говорят гадости, потому что хотят говорить гадости. А о ком их говорить? О "своих" неудобно. О "громких" — боязно... услышат, сами наговорить могут.
Когда кто-то о ком-то говорит гадости, это прежде всего о нём самом, не так ли? Мы же это с детского сада знаем.