Географическое название, употребленное с наименованиями город, деревня, село, посёлок, река, озеро и так далее, склоняется, если оно относится к русским, славянским или давно заимствованным словам. Поэтому правильно будет: в городе Москве.
Однако, если географическое название в форме множественного числа, то обычно не склоняется. То есть будет правильно: в селе Большие Пиздюли.
Согласно современным лексическим нормам, название склоняется даже со словом «город». Возможно когда-нибудь это изменится в силу массового употребления варианта с несклонением и гибкости языка.
Уточнить вопрос
Как правильно: в городе Москва или в городе Москве? Понятно, что слово "город" можно убрать. Однако как сказать правильно именно с "городом"?