Конечно стоит!
Во-первых, математики в программировании не так и много, если речь не идёт о задачах, связанных конкретно с математикой. Намного важнее понимание и владение принципами алгоритмизации (разделения сложной задачи на последовательность простых).
Во-вторых, практика - единственный способ понять собственные возможности в той или иной сфере деятельности.
от имени быдлокодера-скрипткидди на питоне глаголю: начинайте, конечно. могу посоветовать для начала игры: есть множество таких, которые в своей простой форме объясняют принципы алгоритмизации, лежащей в основе программирования. например, Human Resource Machine.
математику, конечно, стоит подтянуть, но для освоения базиса программирования (на любом языке) она не потребуется.
Главное понять по какой причине плохо с математикой. По сути математика и программирование это одно и то же.. И то и другое это языки.
Если вы не способны воспринимать окружающий мир в виде формальных строгих описаний то лучше не браться за программирование.
Ну уже вроде как всё написали. Но от себя добавляю и подтверждаю - программированием занимаюсь уже много лет, и в большинстве случаев можно обходиться знаниями таблицы умножения (ну я, конечно, утрирую). Высшая математика большинству прикладных и системных программистов не нужна.