Оставил тёте, чтобы Гарри был под защитой крови, в книге это объясняется. Поселил рядом Арабеллу Фигг, чтобы она присматривала за Гарри (в то, что она случайно оказалась соседкой Дарсли, мы же не верим, правда...))
Да и, в конце концов, Дамблдор ему не родной дедушка. Привяжется к Гарри он намного позже, когда узнает его лично. А так, ребёнок из пророчества (один из двух), "развоплотивший" Волдеморта, сын Поттеров...ну и что....Дамблдор также объясняет, почему не доверил Гарри волшебникам-к мальчику относились бы, как к Избранному, отчего у него могла закружиться голова....