Вы не должны никуда уходить, если являетесь законной женой. Это неправильное поведение мужа. Он наоборот должен располагать своих детей в вашу сторону, чтобы они понимали, что вы тоже сможете в случае чего позаботиться о них, а главное понимали, что теперь папа живёт с другой женщиной, а мама с другим мужчиной. Мама наверное не станет от детей прятать нового ухажера, так почему тогда ваш муж должен вас выгонять из дома в момент их визита?