Мыть окна можно при любой температуре.
Неудобства может только доставить застывающая вода.
Но если окно открывается во внутрь комнаты, то это вообще не проблема, температура будет достаточно высокая.