Нейросети глубокого обучения, требуют больших ресурсов на обучение.
Сотрудники Массачусетского технологического института высказали гипотезу что внутри нейросетей имеются на порядок меньшие подмножества сети нейронов и гипотеза «лотерейного билета» утверждает, что обучение глубокой нейросети равно покупке всех билетов для того, чтобы получить выигрыш. Обучение подмножества сети нейронов сравнивают с покупкой только выигрышных билетов.
Однако как находить такие подмножества без создания полной нейросети и уже из неё извлекая необходимые подмножества - пока непонятно.
Если решить эту задачу, то обучение нейросети будет намного проще.
Это было ещё в 2019, но насколько мне известно - поиски решения продолжаются.