Generador robots.txt
Componga reglas robots.txt y referencias a sitemap.
Genere robots.txt con secciones User-agent, listas Allow/Disallow, Crawl-delay opcional y URLs de sitemap. Copie o descargue el resultado para la raíz del sitio.
Limitaciones
robots.txt es una pista de rastreo, no control de acceso — las URLs sensibles necesitan autenticación. Google ignora en gran medida Crawl-delay; bots maliciosos pueden ignorar el archivo. Valide sintaxis y política antes de producción.
Herramientas recomendadas
FAQ
No. It only asks well-behaved crawlers not to fetch URLs. Anyone can still open the page directly; use authentication or server rules for real protection.
Not always. If other sites link to the URL, Google may still index it without crawling, or show a URL-only result. Use noindex when you need to keep a page out of search results.
Google ignores Crawl-delay in robots.txt. Use Search Console rate settings or fix server performance instead. Some other bots may honor it, but support varies.