Проверьте, какое ядро установлено на сервере. Узнайте, какие ядра поддерживают моды. Проверьте так же, правильная ли версия модов и ядра стоит (например моды для 1.12 установлены на ядро для версии игры 1.7.10)
Ядра для поддержки модов:
Forge
Cauldron (Я не помню точное название ядра, но звучит как то так)
Ядра поддержки только плагинов:
spigot
paper
Возможно у вас стоит простое ванильное ядро от разработчиков игры