Добрый день, если сервер стоит на вашем компьютере, значит проблема связана с медленным интернетом, с некорректной работой роутера. Либо же если сервер стоит на внешнем хостинге советуем вам его сменить.
Судя по всему Ваш сервер или расположен очень далеко, либо у него Интернет-канал перегружен. Второе вероятнее всего. Попробуйте перенести сервер на другую, более производительную платформу с хорошим Интернет-каналом.
Слабый хостинг
Сколько оперативной памяти? Если сервер держится на вашем компьютере, а не на хостинге, то это скорей всего много программ запущено которые нагружают ПК. Если на хостинге, то что я напишу относится и к вашему ПК, возможно какой то плагин сильно нагружает сервер, возможно что то не так в ядре, или мало выделено оперативной памяти