Robots.txt-Generator
robots.txt-Regeln und Sitemap-Verweise zusammenstellen.
Erzeugen Sie robots.txt mit User-agent-Abschnitten, Allow-/Disallow-Pfaden, optionalem Crawl-delay und Sitemap-URLs. Ergebnis kopieren oder als Datei laden.
Grenzen
robots.txt ist ein Crawl-Hinweis, kein Zugriffsschutz — sensible URLs brauchen Authentifizierung. Google ignoriert Crawl-delay weitgehend; böswillige Bots können die Datei missachten. Vor Produktion Syntax und Richtlinie prüfen.
Empfohlene Tools
FAQ
No. It only asks well-behaved crawlers not to fetch URLs. Anyone can still open the page directly; use authentication or server rules for real protection.
Not always. If other sites link to the URL, Google may still index it without crawling, or show a URL-only result. Use noindex when you need to keep a page out of search results.
Google ignores Crawl-delay in robots.txt. Use Search Console rate settings or fix server performance instead. Some other bots may honor it, but support varies.