Добрый день,
Сперва вийдите из виртуального окружения MacOS. Потом нажмите правой кнопкой мыши на профиль Mac OS. Там в настройках Virtual Box Вы найдёте возможность увеличить количество видеопамяти, до требуемых Вам.
Только сперва убедитесь, что на основной ОС корректно установлены и настроены драйвера видеокарты, а то это может не помочь.