Вы задали очень важный вопрос, на который коротко не ответишь.
Во-первых, давайте зададимся вопросом для чего существует бесконечное количество страшных сказок для детей? И это не только "Вий"… Даже сказка про колобка является страшилкой, так как главного героя сказки в итоге съели, то есть убили за то, что убежал от "родителей". Именно сказки через своих героев и персонажей повествуют об опасностях, которые могут быть угрозой для жизни.
Во-вторых, то, что в сказках страшно для взрослых с уже сложившимися стереотипами, далеко не всегда страшно детям. А в невинной сказке с точки зрения взрослого, ребёнок может найти что-то очень страшное. Это зависит от самоидентификации ребёнка с героем/персонажем сюжета и событиями, которые происходят.
Приведу пример на себе. Моей любимой сказкой с 4 лет была сказка о Царе Салтане, в которой страшилок не мало. Одного факта "упаковки" царицы с младенцем в бочку и выбрасывания их в море достаточно для того, чтобы испытать ужас. Вода для меня навсегда осталась опасностью. Я обожаю на воду смотреть, но не более. Возможно, поэтому я не люблю передвигаться по воде никакими видами транспорта, хотя всю жизнь живу на Волге.
Но эта сказка начала формировать во мне личностные качества. Я очень рано начала разбираться в людях и сразу отличать ложь от правды. Эта сказка помогла мне выстраивать отношения с отцом, так как я уже знала, что мужчины принимают решения очень быстро и не погружаясь в подробности. В детском возрасте я уже поняла, что строит семейные отношения женщина, поэтому должна быть умной, сильной и много чего уметь, чтобы обеспечить выживание себе и семье. А персонаж, с которым я себя идентифицировала - это белка, которая грызла золотые орешки и приносила этим пользу, а её охраняли, ценили и считали чудом.
На мою родную сестру данная сказка не произвела никакого впечатления. У неё было три любимые сказки - это Колобок, Конёк-Горбунок и Чебурашка. Благодаря им она не приобрела страх путешествий и бесконечных приключений, а наоборот - всю жизнь путешествует с континента на континент.
И как родители могли принять решение о том какие сказки нам читать, а какие нет?
В заключение отмечу очень важный момент, который большинство родителей не учитывает. В прошлом сказки детям любых возрастов всегда рассказывали взрослые, которые отвечали на возникшие вопросы, могли успокоить, объяснить почему и чего стоит бояться, так как от страха зависит выживание. И если детей не знакомить с опасностями через сказочных героев, то как они будут учиться справляться с собственным страхом и преодолевать это состояние? Где они будут брать пример различных моделей поведения? Лично меня любимая сказка привела к осознанию в очень раннем детстве, что любое самое страшное событие в жизни может быть сказочным везением, которое улучшает жизнь.
P.S. О произведениях Гоголя ничего сказать не могу, так как не являюсь поклонницей данного писателя и имею предвзятое мнение.