Как пользоваться извлечением URL из sitemap
- Укажите «URL сайта или sitemap» и при необходимости настройте параметры.
- Запустите инструмент и изучите результаты, подтверждения и ограничения.
- Скопируйте или скачайте результат, затем сверьте его с реальным сайтом, исходными данными или учётными записями компании.
Попробуйте конкретный пример
Укажите сайт или sitemap, объедините записи из robots.txt и индексы sitemap, затем выгрузите CSV без дубликатов.
Как понимать результаты
Результат — число уникальных URL, найденных в этом запуске, а не общее число страниц сайта и не число страниц в индексе Google. Ограничения: 50 000 URL, 40 sitemap, четыре уровня индексов и 90 секунд. Сбои и достигнутые ограничения явно помечаются как частичный результат.
Частые вопросы
Поддерживается ли индекс sitemap?
Раскрывает индексы и дочерние sitemap в заданных пределах. Даже при вводе одного sitemap находятся записи из robots.txt и другие sitemap того же сайта; количество по отдельному файлу и общее показываются раздельно.
Всегда ли lastmod точен?
Его указывает сам сайт, и он может отсутствовать или быть неточным; при аудите контента сверяйтесь с фактическим временем обновления.
Можно ли открыть CSV в Excel?
Да. Импортируйте CSV в кодировке UTF-8 в Excel. В нём все успешно полученные URL без дубликатов и их исходный sitemap, независимо от сокращения при показе.
Что такое sitemap.xml и зачем он нужен?
sitemap.xml — список URL для поисковых систем в формате XML с перечнем страниц, которые сайт хочет отдать на сканирование, и, при желании, датой последнего изменения (lastmod). Крупные сайты объединяют несколько дочерних карт через индекс карт сайта; Google допускает до 50 000 URL и 50 МБ без сжатия на файл. Карта сайта помогает обнаружению, но не гарантирует индексацию; инструмент объединяет карты сайта, удаляет дубли и экспортирует список URL.