Скажите, что у Вас возникли непредвиденные семейные обстоятельства и Вы не можете работать. В жизни всякое случается, поэтому не стоит переживать и думать, что Вы кому-то что-то должны. Каждый день миллион людей увольняются по собственному желанию с работ, а Вы даже еще не начали работать на того человека. Лучше сказать как можно раньше, чтобы он мог найти кого-то Вам на замену.