Из какой точки пространства вселенная начала расширяться?

Вселенная не расширялась из точки пространства. Вселенная расширялась вместе с пространством. Центра этого расширения нет. Или, если хотите, любая точка Вселенной - центр расширения.

Откуда это известно? Из закона Хаббла. Хаббл первым заметил, что чем дальше находится космический объект, тем быстрее он от нас убегает. 

Это можно представить графически примерно так. Здесь длина линий соответствует скорости убегания. Центральная точка - Земля.

Окей. Давайте теперь мысленно перенесемся на другую звезду. Скажем, на ту, что сразу слева от нашей Земли.

Очевидно, что скорость этой звезды - назовем ее А - относительно ее самой будет ноль. Мы же прямо на ней теперь находимся, верно? А скорости всех остальных звезд мы просто пересчитаем, вычтя из их прежних, измеренных на Земле значений скорости, скорость нашей звезды А, также измеренную на Земле.

Получится так:

Что мы видим? Точка А теперь стала новым центром, а все остальные звезды от нее убегают.

Выберем другую произвольную точку, например, ту что на рисунке выше обозначена B.

И опять: наша звезда в центре, а остальные от нее убегают.

И что характерно: закон Хаббла выполняется в каждом из трех случаев одинаково! На какой бы звезде или галактике мы ни находились, мы везде будем видеть, что остальные объекты удаляются от нас тем быстрее, чем дальше они находятся. 

Т.е. Вселенная не имеет центра расширения.

Доступные аналогии: надуваемый воздушный шарик. Нарисованные на нем точки разбегаются друг от друга, но ни одна из них не является центром расширения.

Или изюм на кексе в процессе его выпекания:

В случае кексов и воздушных шариков за некий условный центр можно принять точку внутри шарика. Казалось бы, это решает проблему и отвечает на Ваш вопрос. Но вот беда: наблюдениям реального мира такое предположение не соответствует. Грубо говоря, в центре надуваемого шарика нет резины, нечему приписать точку, относительно которой раздувается шарик. Вот и со Вселенной такая же петрушка - там где мог бы быть гипотетический центр расширения, Вселенной просто не существует. А там, где она существует, нет центра расширения. 

В начале инфляции Вселенная сама была точкой. 10-43 см. Поэтому центр Вселенной сейчас везде, куда ни ткни.  Это трудно осознать. Еще труднее осознать, что мы физический процесс в непонимаемом нами мире.

Если мы верим, что вселенная бесконечна во времени и в пространстве, то у неё нет не только конца, но и начала, и тогда не было такой точки, как начала пространства и времени!

А расширение может происходить и не обязательно из точки. 

ха а кто сказал что точка сингулярности существовала это просто недоказуемая теория большого взрыва а может  вселенная возникла из-за огромной черной дыры которая превысила свой пожирательный процесс материи

Если исходить из уже теоремы Пуанкаре-Перельмана, что топологически наша Вселенная это трёхмерная поверхность четырехмерной сферы, то точка начала расширения Вселенной это центр этой четырехмерной сферы. А значит за пределами нынешней Вселенной.

 Как, в качестве грубой аналогии, центр надувного резинового шарика не принадлежит оболочке уже надутого шарика. )

Хороший вопрос. По современным представлениям, этой точки не существует. Потому что пространство появилось вместе со вселенной. Таким образом, какого-то внешнего пространства, в котором была бы эта точка, не было.

Фокус в том, что вся Вселенная - это и есть та точка, которая когда-то была очень маленькой, а потом расширилась. Мы внутри этой "точки". А если учесть, что Вселенная расширяется не равномерно, то, даже найдя её центр, нельзя будет сказать, что она расширялась из этого центра, т.к. при неравномерном расширении центр смещался неоднократно.