Was ist Crawl-Budget?
Für kleine bis mittelgroße Websites (<10.000 URLs) ist Crawl-Budget meist kein Problem. Kritisch wird es bei großen E-Commerce-Shops, News-Portalen oder Sites mit URL-Parametern, die Millionen Variationen erzeugen. Google teilt das Budget zwischen „Crawl-Capacity" (was der Server verträgt) und „Crawl-Demand" (wie wertvoll Google die Seite einstuft). Optimierung: schnelle Server, saubere robots.txt, kein Parameter-Wildwuchs, klares Canonical-System, regelmäßig aktualisierter Content.
Beispiel aus der Praxis
Ein Online-Shop mit 100.000 Produkten und Filtern (Farbe × Größe × Sortierung) erzeugt Millionen URL-Variationen. Ohne Canonical und parameter-Blocking in robots.txt verschwendet Googlebot Budget auf Duplikate.
Typische Fehler im Umgang mit Crawl-Budget
- Endlose URL-Parameter ohne Canonical
- Langsame Server (zwingen Google das Crawling zu drosseln)
- Viele 404/500-Fehler
- Veraltete Sitemap mit toten URLs
Häufige Fragen zu Crawl-Budget
Wann ist Crawl-Budget kritisch?
Ab etwa 10.000 indexierbaren URLs wird Crawl-Budget relevant. Bei klassischen Mittelstands-Websites mit 50–500 URLs ist es selten ein Problem.
Wie sehe ich, wie Google meine Site crawlt?
In der Google Search Console unter „Einstellungen → Crawling-Statistiken". Dort sind Crawl-Anfragen pro Tag, durchschnittliche Antwortzeit und HTTP-Status-Verteilung sichtbar.
Hilft eine schnelle Website beim Crawl-Budget?
Ja, direkt. Schnellere Antwortzeiten → Google crawlt mehr URLs pro Zeiteinheit → höhere Indexierungsrate. Page Speed ist auch ein Ranking-Faktor (Core Web Vitals).