Gerador robots.txt
Componha regras robots.txt e referências de sitemap.
Crie robots.txt com seções User-agent, listas Allow/Disallow, Crawl-delay opcional e URLs de sitemap. Copie ou baixe o resultado para a raiz do site.
Limitações
robots.txt é uma dica de rastreamento, não controle de acesso — URLs sensíveis exigem autenticação. O Google ignora em grande parte Crawl-delay; bots maliciosos podem ignorar o arquivo. Valide sintaxe e política antes da produção.
Ferramentas recomendadas
FAQ
No. It only asks well-behaved crawlers not to fetch URLs. Anyone can still open the page directly; use authentication or server rules for real protection.
Not always. If other sites link to the URL, Google may still index it without crawling, or show a URL-only result. Use noindex when you need to keep a page out of search results.
Google ignores Crawl-delay in robots.txt. Use Search Console rate settings or fix server performance instead. Some other bots may honor it, but support varies.