Потому что всё обучение в целом, начиная с младшей школы, построено по циклическому принципу - постоянные повторения с более углубленным изучением и рассмотрением деталей. И общая физики на первых курсах завершает эту спираль, подготавливая к изучению теорфизики на совершенно другом уровне.
В принципе возможно, так как там действительно почти все вопросы повторяются, можно сказать с нуля. Школьная математика в этом плане важнее - её повторять не будут, надеются что вы ее и так знаете. Но будет очень сложно - там где другие будут думать "а, ну я это знаю", вам придется вникать во всё как в первый раз. А главное - зачем эти сложности, проще школьную физику подучить самостоятельно.
Сложно, Вы рискуете “вылететь” с первых двух курсов, где физику обычно преподают. Поинтересуйтесь программой выбранного ВУЗа и пообщайтесь со студентами для прояснения ситуации, сегодня это можно сделать через Интернет.