Вопрос настолько не конкретен, что сложно ответить что-то содержательное.
С одной стороны, понятно, что для любого самца неприятно застать на своей территории другого самца.
С другой, о каких мужчинах идёт речь? И почему в его отсутствие они стремятся входить на его территорию?
А Вам приятно, если в Ваше отсутствие в дом будут свободно входить другие женщины?
Дом - это интимно-личностное пространство. Мне неприятно даже если при мне гости или ремонтники чего-либо лезут в те комнаты, куда их не приглашали. Любой нормальный человек защищает своё личное пространство, в котором он живёт.