Программирование требует большого напряжённого внимания к формальным деталям текста программы, поэтому, если вы так вот совсем не понимаете математику, то и программированием вам, скорее всего, заниматься будет тяжело. Хотя сама математика, как таковая, требуется не во всех направлениях программирования.
Рынок труда в программировании очень большой, и своё место на нём вы в любом случае, скорее всего, сможете найти, но подумайте, стоит ли вам заниматься работой, к которой вы по своим наклонностям не склонны и которая потребует от вас бо́льших усилий, чем от других людей.