Не надо трогать PageSpeedInsights. Поставьте плагин кэширования, типа Total Cache, а лучше включите на сервере Redis. Отключите ненужные плагины, минимизируйте код (для этого также есть плагины), отключите ненужные функции, отъедающие ресурсы. Этого достаточно.
Если проект достаточно серьезный и еще не сильно раскручен, то самый лучший совет для ускорения - быстро перейти на другой движок (CMS). Как ни крути и улучшай вордпресс, при достаточно хорошей нагрузке и возрастанию количества запросов к БД, WP всегда будет проигрывать.
Кому ВП будет проигрывать? Какая угодно нагрузка будет - он выдержит на самых высоких скоростях.
Подключите бесплатный CDN от Cloudflare. Ваш сайт, с большой долей вероятности, станет быстрее уже на этом этапе.
Кроме того, в интерфейсе этого сервиса вы сможете настроить кеширование, сжатие данных, минификацию и прочие прелести без вмешательства в код вашего сайта.
Уменьшите размер используемых изображений, включите сжатие стилей и скриптов, возможно проблема находится в используемом хостинге, также существует множество плагинов, например: Autoptimize
Проанализируйте полную скорость загрузки страниц различными сервисами. Они вам покажут рекомендации по сжатию картинок, скриптов - нужно будет выполнить эти рекомендации. Также, можете использовать плагины кэширования, например WP-Rocket