Robots.txt Generator

Den Robots.txt-Generator verwenden

Pro-Crawler-Regeln definieren, Pfade auflisten, die erlaubt oder gesperrt werden sollen, Sitemap anhängen und die generierte Datei direkt in das Stammverzeichnis der Website kopieren. Der gesamte Generator läuft im Browser, sodass keine URL-Muster oder Site-Struktur übertragen werden.

1. User-Agent wählen - Mit * starten, um Regeln auf jeden Crawler anzuwenden, oder einen benannten Bot wie Googlebot, Bingbot, DuckDuckBot oder GPTBot angeben, wenn Pro-Bot-Verhalten benötigt wird.
2. Disallow-Pfade hinzufügen - URL-Präfixe auflisten, die Crawlern vorenthalten werden sollen, einen pro Zeile. Ein Pfad von /admin/ sperrt alles unter diesem Ordner; ein bloßes / sperrt die gesamte Website.
3. Allow-Ausnahmen hinzufügen - Allow-Einträge verwenden, um bestimmte Pfade freizuschalten, die crawlbar bleiben sollen, obwohl ein breiteres Disallow gilt. Allow-Regeln haben Vorrang, wenn sie spezifischer als das übereinstimmende Disallow sind.
4. Sitemap anhängen - Die absolute URL der sitemap.xml einfügen. Die Sitemap-Direktive ist global, sodass ein einzelner Eintrag für alle User-Agents gilt.
5. Kopieren oder herunterladen - Den generierten Text kopieren oder die Datei herunterladen, dann in das Stammverzeichnis der Domain hochladen, sodass sie unter https://deinedomain.de/robots.txt erreichbar ist.

Über das Robots Exclusion Protocol

Das Robots Exclusion Protocol (REP) begann als informelle Konvention, die Martijn Koster 1994 vorschlug, nachdem sein eigener Server von einem frühen Web-Crawler überwältigt worden war. Fast drei Jahrzehnte lang blieb es ein De-facto-Standard, und jede wichtige Suchmaschine einigte sich auf das Dateiformat und den Speicherort. Im September 2022 veröffentlichte die IETF RFC 9309, das das Protokoll schließlich standardisierte und die Syntax für User-Agent-Gruppen, Allow- und Disallow-Regeln sowie Pfad-Matching formalisierte.

Robots.txt funktioniert auf Vertrauen - wohlerzogene Crawler lesen die Datei und gehorchen ihren Direktiven, aber es ist kein Zugangskontrollmechanismus. Ein entschlossener Scraper oder ein böswilliger Bot kann die Datei vollständig ignorieren, weshalb sensibles Material durch Authentifizierung oder IP-Einschränkungen geschützt werden muss, nicht durch eine Disallow-Regel.

Die Datei muss als reines UTF-8-Text aus dem Stamm des Hosts bereitgestellt werden, mit einer Maximalgröße von 500 Kibibyte gemäß RFC 9309. Crawler cachen robots.txt in der Regel bis zu 24 Stunden lang, sodass Änderungen bis zu einem Tag brauchen, um bei allen Bots wirksam zu werden.

Beispiele

Eine minimale Datei, die vollständiges Crawlen erlaubt und auf eine Sitemap verweist:

User-agent: *
Disallow:
Sitemap: https://beispiel.de/sitemap.xml

Eine Datei, die den Admin-Bereich und private Uploads für jeden Crawler sperrt, aber Googlebot trotzdem zu einer öffentlichen PDF innerhalb des gesperrten Ordners lässt:

User-agent: *
Disallow: /admin/
Disallow: /uploads/privat/
User-agent: Googlebot
Allow: /uploads/privat/whitepaper.pdf
Disallow: /uploads/privat/
Sitemap: https://beispiel.de/sitemap.xml

Wie Pfad-Matching tatsächlich funktioniert

Pfade werden als case-sensitive Präfixe gegen den Teil der URL nach dem Host abgeglichen, sodass Disallow: /Admin nicht /admin sperrt, und eine Regel von /blog /blog/, /blog-archiv und /blogroll gleichermaßen erfasst. Nur den Ordner sperren: Disallow: /blog/ mit dem abschließenden Schrägstrich schreiben. Das Sternchen * stimmt mit einem beliebigen Zeichenlauf überein und $ verankert ein URL-Ende, sodass /*?sort= sortierte Duplikate sperrt und /*.css$ Stylesheets wieder erlaubt. Wenn sowohl Allow als auch Disallow übereinstimmen, gewinnt RFC 9309 die Regel mit mehr Pfadzeichen, Gleichstand geht an Allow.

Ein gearbeitetes Beispiel und typische Fehler

Bei WordPress nur /wp-admin/ sperren und gleichzeitig /wp-admin/admin-ajax.php erlauben und /wp-content/ crawlbar lassen, weil es die Assets enthält, die Google zum Rendern der Seite benötigt. Bei einem facettierten Katalog Parameter-URLs sperren, die sich unendlich multiplizieren (/*?farbe=, /*?sortierung=), während saubere kanonische URLs offen bleiben. Drei klassische Fehler: ein übrig gebliebenes Disallow: / aus einem Staging-Build de-indexiert still eine Website; ein öffentliches Disallow bewirbt genau die Datei, die es zu verstecken versucht; und das Sperren einer bereits indexierten Seite friert die veraltete Auflistung ein, weil Google das noindex nicht mehr abrufen kann, das es ablegen würde.

Wann eine robots.txt-Datei verwendet werden sollte

• Crawl-Budget fokussieren - Bots von unendlichen facettierten Suchanfragen-URLs, internen Suchergebnisseiten oder Archivkalendern fernhalten, die Crawl-Budget verschwenden.
• Staging- oder Dev-Umgebungen sperren - Verhindern, dass ein Produktionsspiegel indexiert wird, indem ein site-weites Disallow auf diesem Host hinzugefügt wird.
• KI-Trainingscrawler kontrollieren - Bots wie GPTBot, ClaudeBot, CCBot, Google-Extended oder PerplexityBot sperren, wenn Inhalte nicht für das Modelltraining verwendet werden sollen.
• Sitemap referenzieren - sitemap.xml bewerben, damit Crawler neue URLs schnell entdecken, auch wenn interne Verlinkung spärlich ist.
• Aggressive Bots drosseln - Crawl-delay (von Bing und Yandex respektiert, von Google ignoriert) verwenden, um unkritische Crawler auf einem ressourcenbeschränkten Server zu verlangsamen.
• Duplikat-URLs ausschließen - Tracking-Parameter-URLs oder druckerfreundliche Duplikate sperren, die andernfalls das Crawl-zu-Index-Verhältnis verwässern würden.