Информация хранится на серверах. Данные постоянно резервируются и реплицируются. Например банки и ФРС США резервирует данные на цифровые накопители в виде магнитных лент, которые находятся в специальных сейфах в нескольких охраняемых зданиях. И вроде даже в печатном варианте резервируют.
Если "прибить" все сервера, то данные будут восстанавливать из резерва. Но вероятность этого события думаю меньше 0.1%.
Да, если у банка миллиард клиентов, то он будет все их хранить у себя в базе данных. Если каждому по 100 байт, то это в сумме 94 ГБ. Что не много.