Robots.txt Generator · 6 CMS-Presets

Robots.txt Builder

Erstellen Sie in 30 Sekunden eine fehlerfreie robots.txt mit den richtigen Regeln für Ihr CMS. Kein Wissen über Direktiven nötig — einfach Optionen wählen, kopieren, hochladen.

Plattform / CMS

Wählen Sie Ihr CMS — wir fügen automatisch die typischen Disallow-Regeln hinzu.

Zugriff für Crawler

Wer darf Ihre Website crawlen?

Alle Crawler erlauben EMPFOHLEN

Suchmaschinen können Ihre Seite normal indexieren. Standard für Live-Websites.

Komplett blockieren

Sinnvoll für Staging- oder Entwicklungs-Sites. Nicht auf Produktion verwenden!

Zusätzliche Disallow-Pfade

Ein Pfad pro Zeile. Die CMS-Presets liefern bereits Standardpfade.

Tipp: /cart/, /checkout/, /admin/ sind typische Kandidaten.

Erweiterte Optionen

Sitemap-URL einbinden

Crawl-Delay setzen (nur für Bing/Yandex relevant)

Sekunden zwischen Crawl-Requests. Google ignoriert diese Direktive.

Generierte robots.txt

Speichern Sie diese Datei unter robots.txt im Root Ihrer Domain.

Was macht eine robots.txt?

Die robots.txt-Datei teilt Suchmaschinen mit, welche Bereiche Ihrer Website sie crawlen dürfen — und welche sie überspringen sollen. Eine gut konfigurierte Datei hält sensible Seiten (Admin, Warenkorb, interne Suche) aus dem Crawl heraus und hilft Bots, ihr Budget auf die Seiten zu konzentrieren, die wirklich zählen.

Wichtig zu wissen: robots.txt verhindert nicht zuverlässig die Indexierung. Wenn eine Seite woanders verlinkt ist, kann sie trotzdem im Index landen — ohne Snippet. Für sichere Ausschlüsse nutzen Sie zusätzlich noindex als Meta-Tag oder HTTP-Header.

Achtung: Ein einziger Fehler in dieser Datei kann versehentlich Ihre gesamte Website von Google blockieren. Sie wollen einen kompletten technischen Audit für Ihr Münchner Unternehmen? Sprechen Sie uns an — wir prüfen Ihre robots.txt und alle anderen technischen Signale.