Простой ответ: если бы не было почвы и земли - нас бы никуда не притянуло, нечему создавать гравитационное поле.
Честный ответ: похоже на мир, в котором землю тупо заменили чёрной дырой той же массы. В таком случае, таки да, нас бы туда затянуло. Или например, что если бы земля перестала взаимодействовать с нами иначе как гравитационно (эдакая земля из тёмной материи) - тогда мы просто болтались бы туда-сюда, осциллируя вокруг центра массы земли.