Какие правила следует считать правильными, с точки зрения машинного обучения и нейросетей?

Это называется не правила, а алгоритм обучения нейросети.

Правильным алгоритмом обучения нейросети считается такой алгоритм обучения, который дает лучшие показатели метрик обучения на тестовом множестве.

Существование нейросетей позволяет на практике сравнить разные алгоритмы обучения и сделать вывод, какие из них правильные. А точнее, какие из них лучшие, так как слово "правильные" подразумевает только одну альтернативу "неправильные", а алгоритмы ранжируются вещественными числами по показателям метрик обучения.