Расширяется пространство, в котором находится Вселенная. Это во-первых, а во-вторых уже это говорит о том, что Вселенная не бесконечна. Поясню на пальцах. Любая точка Вселенной является её центром (так же как любая точка поверхности шара). Если возьмёте фантастический телескоп и посмотрите в него прямо вперёд, то увидите свой затылок. То есть Вселенная конечна, но не имеет границ.
Если говорить исключительно о наблюдаемых данных, то нет оснований утверждать, что вселенная бесконечна (равно как и конечна). За то удаление друг от друга связанных объектов ("разбегание галактик", оно же "красное смещение") – вполне наблюдаемый факт.