Вам пригодится формула для первой космической скорости: v^2=GM/R и формула для ускорения свободного падения: g=GM/(R^2). Поделив эти формулы друг на друга, получим (v^2)/g=R
Здесь G-гравитационная постоянная, g - ускорение свободного падения на Луне, R - искомый радиус (считаем, что радиус орбиты и самой Луны отличаются мало, т.е. спутник не слишком сильно удален от ее поверхности), M - масса Луны
А что такое ^?