Какие параметры нужно учитывать при выборе глубины нейронной сети?

Глубина нейронной сети, т. е. количество слоев в ней — один из фундаментальных (гипер-) параметров ее архитектуры наряду с количеством нейронов в слоях и используемой функции активации.

Основными и, скорее всего, единственными параметрами при выборе глубины сети является область ее применения (классификация, компьютерное зрение, обработка естественного языка, генеративные задачи) и контекст решаемой задачи.

Обычно, в качестве базового, конкретное количество слоев выбирается в зависимости от количества этапов, на которые можно разделить решение конкретной задачи с учетом используемого математического аппарата в той или иной архитектуре нейронной сети.

Конкретно для классификаторов, в случае когда экстраполировать решаемую задачу на архитектуру сети невозможно или не получается, можно построить базовый вариант (взяв за основу, например, 3 или 5 слоев) и воспользоваться методами оптимизации гиперпараметров для подбора количества слоев, с которыми модель будет иметь максимальную производительность.