Информационная геометрия возникла на стыке геометрии (вообще говоря, неевклидовой) и теории вероятности. Первые идеи в этой области относятся к концу 1960-х годов, когда Рао заметил, что матрицу Фишера можно рассматривать как риманову метрику на многообразии. Точками многообразия служат различные вероятностные распределения.
Информационная геометрия умеет отвечать на вопросы типа «даны два распределения вероятностей; как найти «расстояние» между ними? близки ли эти распределения или далеки?»
Методы информационной геометрии используются для машинного обучения и искусственного интеллекта, для принятия решений. Вот для принятия решений строят функцию ошибок, а потом ее минимизируют. Например, методом градиентного спуска, когда пошагово продвигаются в пространстве параметров. В этом пространстве может быть та или иная геометрия. В зависимости от того, какая геометрия, метод работает быстро или не очень. То есть геометрический подход дает улучшение времени обучения по сравнению с другими правилами.