Crawl Rate Limit ist eine Begrenzung, wie schnell Suchmaschinen-Bots URLs deiner Website abrufen dürfen. Damit wird die Crawling-Last gesteuert, zum Beispiel für Server, Datenbanken und Schnittstellen.
Was bedeutet der Begriff im SEO?
Das Rate Limit wirkt als Leitplanke zwischen Suchmaschine und Technik. Wenn Crawling zu aggressiv ist, können Fehler oder Performance-Probleme steigen. Wenn es zu niedrig ist, werden neue oder geänderte Seiten später entdeckt und verarbeitet.
Warum ist das wichtig?
Für Website-Betreiber hilft das Limit, Stabilität zu halten. Für Content und Rankings unterstützt es eine gleichmäßige Indexierung relevanter URLs. Für die Technik verbessert es die Planbarkeit von Serverressourcen.
Andre-Tipp: Setze Crawl Rate Limit so, dass Suchmaschinen effizient crawlen, ohne deine Infrastruktur zu überlasten.
