Crawl-Budget Optimierung
Jede Website hat ein begrenztes Crawl-Budget. Wer es verschwendet, riskiert dass wichtige Seiten nicht indexiert werden. Lernen Sie, wie Sie Google auf die richtigen Seiten lenken.
Crawl-Budget verstehen
Stellen Sie sich Google als einen fleißigen Bibliotheksassistenten vor, der jeden Tag Millionen von Büchern katalogisieren muss. Er kann nicht alle Bücher jeden Tag ansehen – er muss priorisieren. Ihre Website ist eines dieser Bücher, und das Crawl-Budget bestimmt, wie viele Seiten der Assistent heute bei Ihnen durchblättert.
Crawl Rate Limit
Wie schnell kann Google crawlen, ohne Ihren Server zu überlasten?
- Serverkapazität & Antwortzeiten
- Hosting-Qualität
- Technische Fehler (5xx)
Crawl Demand
Wie sehr möchte Google Ihre Seiten crawlen?
- Popularität & Backlinks
- Aktualisierungsfrequenz
- Inhaltsqualität
Wichtig: Crawl-Budget ist für die meisten Websites kein Engpass. Kritisch wird es erst bei:
- • Sehr großen Websites (100.000+ URLs)
- • Websites mit vielen dynamischen/Filterseiten
- • Technisch problematischen Websites
- • Websites mit häufigen Inhaltsänderungen
Die größten Crawl-Budget-Killer
In meinen SEO-Audits sehe ich immer wieder dieselben Probleme. Diese Faktoren verschwenden Ihr Crawl-Budget am stärksten:
Facettierte Navigation & Filterseiten
Ein Online-Shop mit 1.000 Produkten kann durch Filter (Farbe, Größe, Preis, Marke) schnell 100.000+ URL-Kombinationen erzeugen. Die meisten haben keinen Mehrwert.
Duplicate Content durch URL-Varianten
Tracking-Parameter, Session-IDs und URL-Varianten erzeugen identische Inhalte unter verschiedenen URLs.
Soft 404-Seiten
Seiten die "Keine Ergebnisse gefunden" anzeigen, aber HTTP 200 zurückgeben. Google crawlt diese immer wieder, weil sie technisch "erfolgreich" sind.
Redirect-Ketten und -Schleifen
Jeder Redirect verbraucht Crawl-Ressourcen. Ketten wie A→B→C→D multiplizieren den Aufwand und können Schleifen verursachen.
Langsame Serverantwortzeiten
Wenn Ihr Server 2 Sekunden für eine Antwort braucht statt 200ms, kann Google 10x weniger Seiten in derselben Zeit crawlen.
Crawl-Budget optimieren: 8 effektive Strategien
Robots.txt strategisch nutzen
Blockieren Sie URLs, die Google nicht crawlen soll. Aber Vorsicht: Blockierte URLs können trotzdem in den Index gelangen, wenn externe Links darauf verweisen.
User-agent: Googlebot Disallow: /suche? Disallow: /warenkorb/ Disallow: /intern/ Disallow: *?sort= Disallow: *?filter=
Noindex für unwichtige Seiten
Seiten mit wenig Mehrwert sollten mit noindex versehen werden. Anders als robots.txt werden diese Seiten noch gecrawlt, aber nicht indexiert.
Ideal für: Suchergebnisseiten, Tag-Seiten, Paginierung, Danke-Seiten
Canonical Tags konsequent einsetzen
Bei URL-Varianten zeigt der Canonical Tag Google die bevorzugte Version. Das konsolidiert Signale und verhindert Duplicate Content.
XML-Sitemap optimieren
Ihre Sitemap sollte nur indexierbare, kanonische URLs enthalten. Keine Weiterleitungen, keine noindex-Seiten, keine 404s.
- Nur 200 OK URLs
- Keine URLs mit Canonical auf andere Seite
- lastmod nur bei echten Änderungen aktualisieren
Server-Performance verbessern
Schnellere Antwortzeiten = mehr Seiten pro Zeiteinheit gecrawlt. Ziel: Server Response Time unter 200ms.
- • CDN einsetzen
- • Caching aktivieren
- • Datenbank optimieren
- • Shared Hosting für große Sites
- • Unoptimierte Plugins
- • Synchrone API-Calls
Interne Verlinkung optimieren
Google folgt internen Links. Wichtige Seiten sollten von vielen internen Seiten verlinkt sein, unwichtige Seiten weniger prominent.
HTTP-Fehler beheben
404-Fehler, 5xx-Fehler und andere HTTP-Probleme verschwenden Crawl-Ressourcen. Monitoren und beheben Sie diese regelmäßig.
- 404 Weiterleiten oder echte 404-Seite zeigen
- 5xx Server-Probleme sofort beheben
- Soft 404 Echten 404-Status zurückgeben
URL-Parameter in der Search Console konfigurieren
Google bietet in der Search Console die Möglichkeit, das Verhalten bei URL-Parametern zu konfigurieren. Nutzen Sie dies für Filter und Sortierungen.
Einstellungen → Crawling → URL-Parameter
Crawl-Budget überwachen
Sie können Ihr Crawl-Budget nicht optimieren, wenn Sie es nicht messen. Hier sind die wichtigsten Datenquellen:
Google Search Console
- • Crawling-Statistiken (Anfragen/Tag)
- • Durchschnittliche Antwortzeit
- • Gecrawlte Seitentypen
- • Indexierungsstatus pro URL
Server-Logfiles
- • Exakte Googlebot-Aktivität
- • Welche URLs tatsächlich gecrawlt werden
- • Crawl-Frequenz pro Seite
- • HTTP-Statuscodes der Requests
Screaming Frog SEO Spider
- • Vollständige Site-Crawls simulieren
- • Redirect-Ketten identifizieren
- • Duplicate Content finden
- • Crawl-Tiefe analysieren
Log-Analyse Tools
- • Botify, OnCrawl, JetOctopus
- • Visualisierung von Bot-Aktivität
- • Vergleich Crawl vs. Index
- • Crawl-Budget-Tracking über Zeit
Prioritäten setzen: Was optimieren Sie zuerst?
Nicht alle Crawl-Budget-Probleme sind gleich wichtig. Hier ist meine Priorisierung aus der Praxis:
| Problem | Impact | Aufwand | Priorität |
|---|---|---|---|
| Server 5xx Fehler | Kritisch | Variabel | 1 |
| Redirect-Schleifen | Kritisch | Niedrig | 2 |
| Langsame Antwortzeiten | Hoch | Mittel | 3 |
| Facettierte Navigation | Hoch | Hoch | 4 |
| Soft 404s | Mittel | Niedrig | 5 |
| Tracking-Parameter | Mittel | Niedrig | 6 |
Häufige Fragen zum Crawl-Budget
Hier finden Sie direkte Antworten zu OnPage SEO, den kostenlosen Tools und meiner Arbeitsweise.
Was ist OnPage SEO?
Wie lange dauert es, bis SEO-Maßnahmen wirken?
Sind Ihre SEO-Tools wirklich kostenlos?
Kann ich OnPage SEO selbst machen oder brauche ich eine Agentur?
Was ist der Unterschied zwischen OnPage und OffPage SEO?
Wie wichtig ist Barrierefreiheit für SEO?
Ihre Frage nicht dabei?
Schreiben Sie mir direkt – ich antworte persönlich und unverbindlich.
Crawl-Budget-Probleme identifizieren
Wird Ihr Crawl-Budget verschwendet? Ich analysiere Ihre Website und zeige Ihnen genau, wo Google Zeit vergeudet – und wie Sie es ändern.