Хочу поступить на математику, так как нравится, но на всякий случай рассматриваю физику. Что выбрать?

Все зависит от того что именно вы хотите получить в результате, чем потом планируете заниматься. Разница, конечно, есть. Математики рассматривают эту науку как конечную цель, соответственно изучают её глубже, на более абстрактных уровнях. Для физиков математика просто инструмент. Да это серьёзный и мощный инструмент, особенно в теоретической физике и, более того, физика часто инспирирует возникновение новых разделов математики… Однако, для физика важна не столько красота логических построений, сколько то, насколько точно математическая модель описывает экспериментальные данные. Главная разница в том, что физика привязана к объективной реальности и задача физики - построение моделей, адекватно описывающих эту объективную реальность. Как эти модели построены и насколько сложная математика в них использована - это вторично, первично - соответствие модели экспериментальному опыту и предсказание явлений, проверяемых на практике. С точки зрения математика привязка к объективной реальности необязательна. Сила математики в её абстрагировании от конкретики и, в идеале, построение моделей, построенных на чистой логике, без привязки к чему-то. Именно это позволяет применять одни и те же построения в совершенно различных областях, если проблему можно сформулировать схожим образом.

Поэтому если вам интереснее быть ближе к конкретным описаниям реальности, к реальному опыту, то вам лучше выбрать физику. Если же вас больше интересуют обобщенные модели без обязательной конкретной привязки, то вам лучше выбрать математику. То же самое касается, если вы хотите, например, потом заниматься программированием. Математики обычно хорошие разработчики системного ПО, в то время как физики хорошо работают с аппаратной частью и конкретными моделями. Это, конечно, условно и никаких чётких границ и запретов тут нет. Скорее, это больше в статистическом смысле.