Генератор robots.txt
Составление правил robots.txt и ссылок на sitemap.
Создайте robots.txt с секциями User-agent, списками Allow и Disallow, опциональным Crawl-delay и URL sitemap. Скопируйте или скачайте файл для корня сайта.
Ограничения
robots.txt — подсказка для краулеров, а не защита доступа; чувствительные URL всё равно нужно закрывать аутентификацией. Google в основном игнорирует Crawl-delay; вредоносные боты могут не соблюдать файл. Перед продом проверьте синтаксис и политику.
Рекомендуемые инструменты
Частые вопросы
Нет, файл лишь просит добросовестных роботов не скачивать URL. Пользователь может открыть страницу напрямую; для защиты нужны авторизация и серверные правила.
Не всегда. При внешних ссылках Google может проиндексировать URL без краулинга или показать результат только с адресом. Для исключения из выдачи используйте noindex.
Google игнорирует Crawl-delay в robots.txt. Для частоты обхода используйте настройки Search Console и оптимизацию сервера. Другие боты могут учитывать директиву, но это не гарантировано.