Да, компьютерную программу можно назвать математической формулой. Мало того, именно это она собой и представляет в конечном итоге. Информатика и, в частности, "Теория алгоритмов" основана на дискретной математике. Фундамент информатики и теории алгоритмов был заложен математиками Аланом Тьюрингом, Чёрчем, Фон Нейманом, К. Гёделем…. Есть классический стэнфордский учебник "Конкретная математика" - (слияние КОНтинуальная и дисКРЕТНАЯ) - математические основания информатики. Там все рассказано о математической основе информатики и теории программирования. В книге "Структура реальности" специалиста по квантовой теории информации (создателя знаменитого квантового алгоритма факторизации больших чисел) Девида Дойча теория вычислений Тьюринга, наряду с теорией эволюции Дарвина, Попперовской эпистемологией и физическими теориями - ключ к пониманию реальности.
То что программа - это в конечном итоге математическая формула уже ясно из того, что в конечном итоге программа интерпретируется двоичным кодом, который и обрабатывает компьютер (Вычислитель, если перевести). Т.е. программа - это инструкция для вычислителя. Подробнее см у Алана Тьюринга в концепции "Универсальной машины Тьюринга" .Что бы много не искать, концептуально всё собрано у Р. Пенроуза (Нобелевский лауреат) в книге "Новый ум короля" и у Д. Дойча "Структура реальности" (В последней книге много уделено внимания виртуальному миру и его отношению к вычислениям, то бишь - математике).