Есть ли какие-то математические модели для описания поведения экосистем?

Да, одна из таких моделей (Лотки-Вальтера) описывает численность хищников и жертв, проживающих на одной территории.
Более сложные модели описывают и другие показатели экосистем, помимо численности некоторых организмов. Например, баланс энергии: можем посчитать, сколько энергии поступает к продуцентам, сколько перейдет консументам, сколько "потеряется", а сколько возьмут продуценты.

Для начала посмотрите небольшую работу: Г.Ю.Ризниченко, Экология математическая. Она легко ищется по автору и названию. В ней есть и базовые подходы и отсылки к авторским моделям различных экосистем.

Есть. У меня одноклассник разработал. Написал на эту тему диссертацию, автоматизировал все в геоинформационной системе и сейчас у него калым такой - пишет оценку воздействия на окружающую среду.