Для начала стоит отметить, что делегирование полномочий - не равно отсутствие контроля.
При грамотно отлаженной системе управления (менеджмента), все ключевые процессы имеют четкое описание, а контроль каждого из них происходит на входе последующего, что позволяет узнать о сбое до того, как будут вложены все необходимые ресурсы (человеческие, временные, финансовые) и устранить несоответствие еще в процессе.
Относительно вопроса когда...
Учитывая, что бизнес затевают, чаще всего, люди не имеющие профильной подготовки и опыта (не берем крупный бизнес), то, в идеале, предприниматель должен делегировать основные полномочия изначально, наняв, для начала, например, профессионального генерального директора.
Однако, понятно, что сразу со старта оплачивать труд такого топ-менеджера обычно не представляется возможным.
Посему ответ будет таким, как только появляется возможность нанять профессионалов и делегировать им соответствующие полномочия, следует сразу это сделать.
Относительно страха...
Что может быть страшного "попросить" сделать что-то профессионала? В отличие от большинства предпринимателей, такой человек обладает необходимыми знаниями и опытом.
Так что бояться следует оставить все на себя не компетентного, ибо это куда больший риск.