Потому что он самый сильный маг. Все молодые Старки умели «входить» в своих лютоволков (что неосознанно делали во сне, судя по их главам в книгах), то есть, были варгами. А вот он просто оказался самым сильным. Возможно, это связано и с тем, что он потерял возможность ходить. Как известно, если человек теряет один орган чувств, у него усиливается другой. Например, у слепых людей лучше развит слух и осязание. У Брана могло произойти что-то в этом роде, плюс занятий для человека с подобной травмой в Вестеросе не так много, поэтому он и сам был сконцентрирован только на интеллектуальном развитии.
Ну и, конечно, если бы он не совершил путешествие за стену к Бриндену Риверсу, который разглядел в нём этот потенциал, то тоже не стал бы Трёхглазым Вороном.