На "почему" ответ простой - так автор решил. А вот зачем ему это понадобилось…
Прием "роман в романе" изобрел не Булгаков. Можно вспомнить "Сказки тысячи и одной ночи", "Рукопись, найденную в Сарагосе" и т.д. Один сюжет является "рамкой" для другого.
Но Булгаков попытался сделать "внешний" и "внутренний" романы очень контрастными и в то же время созвучными. Сатирические, балаганные главы похождений свиты Воланда в Москве постепенно переходят в философские по мере появления в сюжете заглавных героев. И появления страниц из романа о Понтии Пилате.