При обучении нейронной сети функция потерь (убыток) не уменьшалась в первые несколько эпох, в чем может быть причина?

Недостаточно информации для того, чтобы дать ответ ...

По смыслу фразы могу предположить, что:

I. В первые несколько эпох loss function не уменьшалась(фактически не происходило обучения), но в дальнейшем модель обучилась и достигла приемлемой точности. Причин тому может быть много, поэтому напишу первые три, наиболее вероятные с моей точки зрения -->

1) Входные данные не нормализованы, поэтому работу градиента (сходимость функции) можно представить в таком виде (левый график - долгий поиск глобального экстремума):

К первой категории причин отнесу также:

Так или иначе - проблема во входных данных.

2) Проблема с первоначальной инициализацией весов/смещений и выбором других гиперпараметров. Плохая инициализация может сразу загнать в локальный минимум/плато, а выбранный алгоритм оптимизации, будет долго из него выбираться. Например малая скорость обучения приведет к тому, что первые эпохи обучения прогресс практически не будет виден.

3) Возможно архитектура/размер(глубина) конкретной сети не очень хорошо подходит для решения той задачи, которую вы пытаетесь этой моделью решить. Измените модель.

Вообще фраза -"При обучении нейронной сети функция потерь (убыток) не уменьшалась в первые несколько эпох" - ни о чем не говорит, это вообще нормальная ситуация.

II. В первые несколько эпох loss function не уменьшалась и так не уменьшилась = "ничего не работает"

Решение подобной ситуации оставлю на Ваше усмотрение ))