Думаю, что было много причин, чтобы такое мнение появилось.
Оно связано с мифом, что мужчине чаще нужен секс, а женщины могут вообще без него обходиться. Изменяющий мужчина будто идёт за зовом инстинктов и биологии, не способойный обуздать природу.
Это и отголоски патриархального строя, который готов оправдать действия мужчин. Дозволенность гаремов и общее отношение, что мужчины склонны к полигамии.
Это попытки запугать женщин всякими мифами типа телегонии.
А ещё огромная тревога и страхи мужчин, что женщина может родить не от них. Ведь ребёнок рождается от матери, а кто его отец до последних пор и проверить было невозможно. История наполненна случаями, как рожали детей не от мужей и наследниками становились не родные дети мужчин. Многих эта тема весьма пугает и в наши дни. Это же ещё касается темы доверия. Ведь, если союз мужчины и женщины был просчитан, то они друг другу могли не понравиться, но над ними висит необходимость заниматься сексом. А когда в этом вопросе появляется принуждение, то в процессе будет мало удовольствия. Если девушку насильно выдали замуж, а её муж к ней жестоко относится, то как устранить вероятность, что она может забеременеть от другого, более нежного любовника?! Конечно, запретить под страхом смерти или жестокого наказания. Поэтому появлялись соответсвующие обычаи, традиции, законы, моральные нормы. Такой порядок дел хорошо поддерживает религия.
И в отличии от женщины, которая рискует заберемененть, мужчина в этом процессе может проявлять безответсвенность и просто сбежать, отрицая свою причастность.
Думаю, можно найти и другие причины, тема обширная.
Я же остановлюсь на этом.