Что будет, если в программе MSI Afterburner поставить значения Core Clock и Memory Clock на максимум? Они у меня стоят по нулям, не менял.

Теоретически ничего страшного не случится. Частоты работы ядра и памяти записаны в биос видеокарты и больше, чем допускает завод без модификации биос установить не получится. Нарушится стабильность работы системы (до полной перезагрузки). Для разгона видеокарты в разумных пределах рекомендую изучить рекомендации производителя и форумы оверклокеров, там много полезной информации и методик разгона с сохранением стабильности системы.
Другой вопрос: для чего вы хотите это сделать? Если из любопытства (дабы позырить) не рекомендую таких действий, риск фатального повреждения устройства сохраняется и увеличивается с любыми изменениями параметров, отличных от параметров, заданных изготовителем. Надеюсь ответил на весь спектр вопросов.

Я однажды на ноутбуке выкрутил значение Memory Clock на максимум и, что ожидаемо, получил синий экран смерти. Хорошо, что после перезагрузки все вернулось. А если Core Clock поставить на максимум, то скорее всего начнет перегреваться видеокарта и компьютер выключится, либо опять же синий экран. Но не рекомендую этим заниматься, если нет реальной необходимости