Однозначно выбирай математику, а увлечение физикой оставь как самое любимое хобби. Из математика достаточно просто стать физиком или химиком и даже великим, а вот наоборот маловероятно, но тоже возможно.
Например геофизик-академик Дахнов, доктор физико математических и геолого минералогических наук, увлекся математикой только после 30 и стал великим математиком, а его более знаменитый друг, академик Альпин наоборот сначала стал великим математиком, а после великим геофизиком и еще много чем.