Страшнее, если мы одни, конечно. Потому что это значило бы, что вся эта гигантская Вселенная не предполагала жизни. А мы, стало быть, ошибка, сбой в развитии. То есть, жизнь чужда и враждебна окружающему нас миру. Это страшно с точки зрения культуры и самосознания. Выходит, что человек - не царь природы, а какой-то паразит, который появился вопреки глобальным законом. И это может ввергнуть людей в массовое уныние.
С другой стороны, если мы не одни, то это вовсе не значит, что нас завоюют. Иные могут, например, существенно отставать от нас в развитии. Они могут быть дружелюбны. А еще, мы можем быть им неинтересны. Скажем, какая-то очень могущественная и развитая цивилизация наткнулась на наш "Вояджер". Они, таким образом, о нас знают. Но что мы им можем предложить. Если они умеют преодолевать огромные расстояния, а мы не продвинулись дальше орбиты собственной планеты? Тогда они, скорее всего, будут за нами просто наблюдать. Или не будут, потому что мы не представляем интереса. Я это к тому, что если мы не одни, то это совсем не страшно.
Если мы не одни, то страшно становится за инопланетян. Начинаешь думать: кто и с какими мыслями в голове будет от нашего имени с ними контактировать. Для людей это громадный ресурс и искушение. На подобную тему есть роман Станислава Лема, Фиаско.