robots.txt
Crawler-Steuerung & Crawl-Budget Optimierung

robots.txt Grundlagen

robots.txt ist Teil des Robots Exclusion Protocol von 1994. Sie teilt Crawlern mit, welche URLs sie besuchen dürfen.

Was robots.txt KANN

• Crawler vom Crawling bestimmter Bereiche abhalten
• Crawl-Budget auf wichtige Seiten lenken
• Server-Last durch Bot-Traffic reduzieren
• XML-Sitemap Location angeben
• Crawl-Delay für aggressive Bots setzen

Was robots.txt NICHT KANN

• Indexierung verhindern (nutzen Sie noindex)
• Sensible Daten schützen (nutzen Sie Passwortschutz)
• Garantie, dass Bots sich daran halten (nur Empfehlung)
• Unterschiedliche Regeln für verschiedene Länder

Syntax & Befehle

Basis-Syntax

# Kommentare beginnen mit #

# Regel-Gruppe für einen User-Agent
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/

# Sitemap Location
Sitemap: https://example.com/sitemap.xml

Befehle im Detail

Wildcards & Pattern Matching

# * = beliebige Zeichenfolge
Disallow: /*.pdf$    # Blockiert alle PDF-Dateien

# $ = Ende der URL
Disallow: /*?print=  # Blockiert alle URLs mit ?print= Parameter

# Beispiele:
Disallow: /private*  # /private, /private/, /private-docs/
Disallow: /*?        # Alle URLs mit Parametern
Disallow: /*.jpg$    # Nur .jpg Dateien (nicht .jpg?size=large)

Best Practices

1. Was SOLLTEN Sie blockieren

• Admin-Bereiche: /admin/, /wp-admin/
• Login/Register: /login, /register, /checkout
• Such-Ergebnisse: /search, /?s=
• Interne Suche: /*?q=, /*?search=
• Duplicate Parameter: /?sort=, /?filter=
• Staging/Test: /dev/, /staging/
• Danke-Seiten: /thank-you, /danke

2. Was Sie NIEMALS blockieren sollten

• CSS-Dateien: /*.css$ - Google braucht diese!
• JavaScript: /*.js$ - Für Rendering essentiell!
• Bilder: Nur wenn Sie aus Bildersuche raus wollen
• Produktseiten: Ihr wertvollster Content!
• Blog-Artikel: Siehe oben

3. Standard robots.txt Template

# Alle Crawler dürfen alles crawlen (Standard)
User-agent: *
Disallow:

# Admin-Bereich blockieren
Disallow: /admin/
Disallow: /wp-admin/

# Suche blockieren
Disallow: /search
Disallow: /*?s=
Disallow: /*?q=

# Login/Register blockieren
Disallow: /login
Disallow: /register

# Duplicate Parameter blockieren
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=

# Danke-Seiten blockieren
Disallow: /thank-you
Disallow: /danke

# XML-Sitemap Location
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/blog-sitemap.xml

User-Agents verstehen

Wichtige User-Agents

Spezifische Crawler-Regeln

# Standard für alle Crawler
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml

# Google-spezifische Regel
User-agent: Googlebot
Disallow: /no-google/

# Bilder-Crawler blockieren
User-agent: Googlebot-Image
Disallow: /private-images/

# AI-Bots blockieren
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Crawl-Budget optimieren

Crawl-Budget ist die Anzahl der URLs, die Googlebot pro Tag crawlt. robots.txt hilft, Crawl-Budget auf wichtige Seiten zu fokussieren.

Crawl-Budget Verschwendung vermeiden

• Facettierte Navigation: Filter-URLs blockieren
• Session IDs: /*?sessionid= blockieren
• Infinite Scroll: /*?page= bei Ajax-Loading blockieren
• Duplicate Content: Parameter-URLs blockieren
• Low-Value Seiten: Tags, Archive, Author-Pages

# E-Commerce: Filter blockieren
User-agent: *
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?brand=

# Aber Kategorie-Seiten erlauben
Allow: /kategorie/

# Blog: Tags und Archive blockieren
Disallow: /tag/
Disallow: /author/
Disallow: /*/page/

Häufige Fehler

User-agent: *
Disallow: /   ← BLOCKIERT ALLES!

Disallow: /*.css$
Disallow: /*.js$   ← Schadet Mobile-First Indexing!

Testing & Validierung

robots.txt testen

1. Google Search Console robots.txt Tester:
   • Öffnen Sie GSC → Crawling → robots.txt-Tester
   • Testen Sie URLs gegen robots.txt
   • Sehen Sie sofort, ob blocked oder allowed
2. Live-Test:
   • Rufen Sie https://ihre-domain.de/robots.txt auf
   • Prüfen Sie Syntax-Fehler
   • Achten Sie auf Leerzeilen und Formatierung
3. robots.txt Validator Tools:
   • technicalSEO.com robots.txt Checker
   • Merkle robots.txt Validator
   • Screaming Frog robots.txt Test

Praxis-Beispiele

E-Commerce Shop

User-agent: *

# Admin blockieren
Disallow: /admin/
Disallow: /checkout/
Disallow: /cart/
Disallow: /account/

# Filter & Sortierung blockieren
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=

# Suche blockieren
Disallow: /search

# Produktseiten ERLAUBEN (wichtig!)
Allow: /produkte/

# Sitemap
Sitemap: https://shop.example.com/sitemap.xml
Sitemap: https://shop.example.com/product-sitemap.xml

WordPress Blog

User-agent: *

# WordPress Core blockieren
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Plugins & Themes NICHT blockieren (CSS/JS!)
# Allow: /wp-content/

# WP-JSON API blockieren (optional)
Disallow: /wp-json/

# Author, Tags, Archive blockieren
Disallow: /author/
Disallow: /tag/
Disallow: /*/page/

# Suche blockieren
Disallow: /?s=

# Sitemap
Sitemap: https://blog.example.com/sitemap_index.xml

robots.txt Checkliste

Fazit: robots.txt als SEO-Foundation

robots.txt ist ein mächtiges Tool für Crawl-Budget-Optimierung und Crawler-Steuerung. Richtig eingesetzt, hilft sie Google, Ihre wichtigsten Seiten effizient zu crawlen.

• Crawl-Budget: Fokus auf wichtige Seiten
• Server-Last: Weniger unnötige Bot-Requests
• Privacy: Admin-Bereiche geschützt
• Performance: Duplicate Content reduziert