Бесконечность в математике - это модель, абстракция. Такая же модель, как параллельные прямые, понятие непрерывности или мнимые числа.
А в "реальной" жизни, то есть наблюдаемой вселенной никаких бесконечностей нет. Всё конечно, как по оси времени, так и по оси пространства. Более того, всё дискретно, но это уже другой вопрос.