Start / SEO Tools / robots.txt Generator

robots.txt Generator

Erzeugt schnell eine saubere robots.txt mit typischen Regeln.

SEO Tools Live Top Tool

robots.txt Generator Pro

Erstelle eine professionelle robots.txt mit Vorlagen, frei ergänzbaren Regeln, Warnhinweisen und eigenen Regelgruppen für verschiedene Bots.

Wichtig: Eine robots.txt steuert Bots, ist aber keine Sicherheitsmaßnahme. Sensible Bereiche müssen zusätzlich technisch geschützt werden.
Lade eine Vorlage als Basis und ergänze danach beliebige Regeln.
Beschreibung der Vorlage
Sinnvolle Standardkonfiguration für klassische Unternehmensseiten, Landingpages und kleinere Webprojekte.
Globale Standardoptionen

Sitemaps

Du kannst eine oder mehrere Sitemap-URLs eintragen.

Regeln pro User-Agent

Lege für einzelne Bots eigene Regeln an oder arbeite nur mit der Standardgruppe *.

User-Agent-Gruppe 1

Lege eigene Regeln für einen bestimmten Bot oder für alle Bots fest.
Für die Standardgruppe meist * verwenden.
Nur als Expertenoption für einzelne Bots einsetzen.
Allow-Einträge

Erlaubte Pfade für diesen Bot.

Disallow-Einträge

Blockierte Pfade für diesen Bot.

Expertenoptionen

Ergebnis

Wähle eine Vorlage, ergänze deine Regeln pro Bot und erzeuge daraus eine professionelle robots.txt.

Schnellinfo

Tags

seo robots crawler

Zurück zur Übersicht

Alle Tools ansehen