Как пользоваться генератором robots.txt
- Укажите «Адрес сайта» и при необходимости настройте параметры.
- Запустите инструмент и изучите результаты, подтверждения и ограничения.
- Скопируйте или скачайте результат, затем сверьте его с реальным сайтом, исходными данными или учётными записями компании.
Попробуйте конкретный пример
Укажите https://www.ssevening.com и запрещённые пути /admin/ и /cart/, затем проверьте полученный файл.
Как понимать результаты
Создаёт User-agent: * и отдельные строки Disallow. Пустой список не добавляет ограничений; / закрывает всё пространство путей. Перед заменой файла в корне проверьте в тестовой среде и убедитесь, что указанная карта сайта существует.
Частые вопросы
Что означает пустой Disallow?
Пустое значение означает отсутствие ограничений сканирования для этой группы роботов.
Можно ли с его помощью защитить админ-панель?
Нет. Админ-панелям нужны аутентификация и контроль доступа, а robots.txt виден всем.
Зачем строка Sitemap?
Она подсказывает публичные URL карт сайта; убедитесь, что XML-файл действительно существует.
Для чего нужен файл robots.txt?
robots.txt лежит в корне сайта (например https://www.example.com/robots.txt) и сообщает поисковым роботам, какие пути не сканировать; в нём также можно указать URL карты сайта. Это просьба о сканировании, а не средство защиты: запрещённый URL, на который есть внешние ссылки, всё равно может появиться в выдаче без описания. Для страниц, которые не должны индексироваться, используйте noindex, а закрытые разделы, например админ-панели, защищайте входом или правами доступа.