Агрессия у кота. Что делать?

Являюсь хозяйкой британского короткошёрстого кота, голубого окраса. Характер у него, мягко говоря, сложный. В силу своей годности кота невозможно заставить быть с тобой рядом насильно, он сам когда ему захочется приходит и ложится рядом, вызывая радость всей семьи своим приходом. Гладить себя разрешает только в особых местах и особым людям. Если домой приходят гости, то обычно он шипит и рычит только на мужчин. На руки взять удаётся очень редко, да и долго его не удержишь. Но ко всему этому все привыкли, я кота очень сильно люблю и меня устраивает его царственный характер. Проблема в том, что кот последние года два шипит когда убирают его туалет. Сделаю важную пометку кот КАСТРИРОВАННЫЙ, сейчас ему 7 лет. Ладно если бы он просто шипел, но он заранее как-то чувствует что намечается уборка, выходит, садится рядом и начинает шипеть, орать, кидаться. Уже начали ставить при уборке рядом с собой веник или швабру, он их боится и близко не подходит. После уборки он ещё минут 30 может шипеть под диваном если проходить рядом с ним. В некоторых случаях он буквально загоняет в угол и не даёт пройти. Перепробовали разные способы, туалет пару раз мыла я и он аккуратно сел и наблюдал за процессом, ни какой агрессии. Также вычитали в интернете пшикать на кота из пульверизатора в моменты агрессии, кончено это помогает защитить себя, ведь кот убегал под диваны. Но в последнее время кот может шипеть без повода. Стоит человеку быстро пройти мимо и он шипит, никто не понимает что с ним происходит.
Возможно у него отложились в памяти воспоминания из детства, когда его могли напугать мокрой тряпкой или врачи в ветеринарной клинике напугали его резиновыми перчатками.
Пишу это чтобы спросить совета, как избежать стресса для животного и его хозяев в такой ситуации.