Если вы не переназначали host-клавишу, то выход из режима масштабирования - "Ctrl + c". Если переназначали, то "Host + c". Если комбинация не помогает, можно попробовать изменить host-клавишу из меню VirtualBox Файл -> Настройки -> Ввод -> Виртуальная машина -> Хост-комбинация и выйти уже по новой комбинации.
не работает. И что за клавиша такая Хост ?