Doch damit nicht genug: Das Unternehmen hat Duplicate Content ohne Ende generiert was nicht nur das Crawling Budget belastet sondern auch zu schlechteren Rankings im Google Index führt. Das Crawling Budget wäre in dem Fall nicht zwingend überschritten worden - und der Crawler hätte alle weiteren Seiten und Unterseiten im Zeitlimit durchforsten können. Tipps um das Crawl Budget effizient zu nutzen Setzen Sie auf schnelle Server und schnell ladende Website-Inhalte Achten Sie auf eine gute URL-Struktur Bauen Sie auf flache Hierarchien bei der Website-Struktur Reichen Sie eine Sitemap bei Google ein Achten Sie auf eine gute interne Verlinkung der wichtigen Seiten Vermeiden Sie Duplicate Content Setzen Sie Canonicals ein Bauen Sie unterschiedliche Content-Formate ein (nicht nur Text) Vermeiden Sie Weiterleitungsketten Ersetzen oder aktualisieren Sie Seiten mit niedrigem Informationsgehalt Reparieren Sie defekte Links und UR Ls Vermeiden Sie weitere Fehler die zu 400er und 500er Statuscodes führen können Schließen Sie unwichtige Seiten vom Crawling aus (z.B. durch “noindex” oder robots.txt) Wer mehr zum Thema wissen will: Google gibt unter Verwaltung des Crawling Budgets hilfreiche Tipps und Antworten zur Analyse und Überprüfung des eigenen Crawl Budgets. Source: https://www.artikelschreiber.com/.