Какие критерии информативности используются при синтезе решающего дерева и почему?

При построении вершины для решающего дерева мы максимизируем функционал: 

по j — признак, s - порог разбиения.

N_l, N_r — количество объектов в левой и правой частях после разбиения по выбранному предикату, а N_m количество объект до разбиения.

Это и есть критерий информативности по его сути, так как уменьшает хаотичность двух вершин после разбиения(r — правой, l — левой).

Выбор начинается на этапе определения этого самого критерия хаотичности(impurity criterion). 

Для регрессии это самый обычные MSE:

Конечно мы знаем, что минимум этого выражения достигается на среднем значении целевой переменной. То есть c равняется среднему y_i внутри этой вершины.

Для классификации есть два наиболее популярных:

Каких то правил и эвристик для выбора одного из этих двух критериев нет и если необходимо выбрать, есть хороший способ — кроссвалидация.