Нужно организовать серьезный разговор на эту тему с мужем. Скажите, что вас не устраивает такая ситуация, попробуйте найти обоюдное решение, которое бы вас устроило. Можете напрямую спросить, что дальше собирается делать муж, если вас подобное положение дел не устраивает.
Скажите мужу откровенно, если не готовы его прощать, что жить с ним под одной крышей не можете, поэтому вам надо расстаться. Соберите его вещи и отправьте к любовнице. Или соберите вещи и уйдите из дома, если вам есть куда пойти и вы не можете с ним быть рядом.