Générateur robots.txt
Rédigez des règles robots.txt et des références sitemap.
Créez un robots.txt avec sections User-agent, listes Allow/Disallow, Crawl-delay optionnel et URLs Sitemap. Copiez ou téléchargez le fichier pour la racine du site.
Limites
robots.txt est une consigne de crawl, pas un contrôle d’accès — les URLs sensibles exigent une authentification. Google ignore largement Crawl-delay ; des bots malveillants peuvent ignorer le fichier. Validez syntaxe et politique avant la mise en production.
Outils recommandés
FAQ
No. It only asks well-behaved crawlers not to fetch URLs. Anyone can still open the page directly; use authentication or server rules for real protection.
Not always. If other sites link to the URL, Google may still index it without crawling, or show a URL-only result. Use noindex when you need to keep a page out of search results.
Google ignores Crawl-delay in robots.txt. Use Search Console rate settings or fix server performance instead. Some other bots may honor it, but support varies.