Die Robots.txt ist eine Textdatei auf deiner Website, die festlegt, welche Bereiche Suchmaschinen-Bots crawlen dürfen und welche nicht.
Wie funktioniert Robots.txt im technischen SEO?
Die Datei liegt typischerweise unter /robots.txt. Mit Regeln wie „User-agent“ und „Disallow“ kannst du Crawl-Bereiche einschränken, zum Beispiel interne Testseiten oder doppelte Inhalte. Wichtig: Robots.txt verhindert nicht das Indexieren, wenn Seiten bereits verlinkt und gefunden wurden. Für echtes Abschirmen brauchst du zusätzlich geeignete Maßnahmen wie Noindex oder Zugriffsbeschränkungen.
Warum ist das relevant?
Für Betreiber und Technik hilft Robots.txt, den Crawl-Fokus zu steuern. Für Content und Nutzer kann das bedeuten, dass relevante Seiten schneller entdeckt werden. Für Rankings ist es indirekt wichtig, weil es die Frage beeinflusst, was Bots überhaupt erreichen.
Andre-Tipp: Steuere mit der Robots.txt gezielt, welche Bereiche gecrawlt werden, aber nutze für echte Entindexierung zusätzliche Regeln.
