Można spróbowac zrobić to co google doradza tutaj:
https://developers.google.com/speed/pag ... ab=desktop
i generalnie strona ładuje się powoli jedynie za pierwszym razem. Problem może leżeć po stronie serwera, ale nie jestem w stanie tego stwierdzić na 100%.