Как пользоваться
- Введите главную или любую стартовую страницу и при необходимости настройте глубину обхода и лимит URL (до 5 000).
- Нажмите «Начать проверку»; после проверки на человека обход встаёт в очередь. Прогресс отображается, отменить можно в любой момент с сохранением уже проверенного.
- Начните с проблемных ссылок: для каждой показаны код ответа, страницы, где она встречается, и анкорный текст; откройте ссылку, чтобы увидеть полную цепочку перенаправлений.
- Экспортируйте CSV или Excel для тех, кто будет исправлять страницы, и при необходимости создайте sitemap.xml из исправных просканированных страниц.
Что проверяется
- Коды ответа внутренних и внешних ссылок: 404, 410 и другие битые ссылки, ошибки сервера 5xx, тайм-ауты, неразрешаемые домены и неудачные соединения.
- Каждый шаг перенаправления: полная цепочка ответов 301, 302, 307 и 308 и итоговый URL, чтобы старые ссылки вели сразу к цели.
- Отдают ли изображения, CSS, JS, значки, iframe, видео и другие ресурсы ответ 404.
- На каких страницах встречается каждая проблема, с анкорным текстом или alt-текстом изображения, а также заголовки страниц, noindex, canonical и есть ли страница в карте сайта.
Как читать результаты
- Битая: 404, 410 и подобные или домен, который больше не разрешается. Исправьте или удалите ссылку.
- Ошибка сервера, тайм-аут, ошибка соединения: возможно, временно; проверьте позже или откройте ссылку вручную.
- Отказ или запрет: сайт отклоняет автоматические посещения (401, 403, 429, 999) или robots.txt запрещает путь, поэтому содержимое не прочитано.
- Перенаправление: в итоге открывается, но с лишним шагом; внутренние ссылки должны вести прямо на итоговый URL.
- Не проверено: ссылки действий, например вход или корзина, URL, похожие на бесконечно генерируемые, а также внешние ссылки и ресурсы, пропущенные по вашим настройкам.
Как исправить найденные битые ссылки
- Битые внутренние ссылки: направьте ссылку на нужную страницу; если страницы действительно больше нет, настройте на сервере перенаправление 301 на наиболее подходящую новую страницу.
- Битые внешние ссылки: замените новым адресом или надёжным альтернативным источником, а если его нет — удалите ссылку.
- Изображения и ресурсы с ответом 404: загрузите файл заново или исправьте путь и поищите старые адреса в CDN и плагинах кэширования.
- После исправления проверьте снова; для большого сайта запускайте отдельные проверки с каждой страницы раздела.
Частые вопросы
Это бесплатно и какие есть ограничения?
Да, и регистрация не нужна. Каждый обход проверяет до 5 000 URL на глубину до 10 уровней, не дольше 20 минут. Без аккаунта доступно 5 обходов в день на сеть, после входа в XunL — 15 в день, по одному обходу за раз. Результаты хранятся 2 часа, поэтому экспортируйте нужное.
Не создаст ли это нагрузку на мой сайт?
Он отправляет к одному сайту не более 3 одновременных запросов с интервалом не менее 0,2 секунды; если в robots.txt задан Crawl-delay, переходит на один запрос за раз и выдерживает эту паузу. Пути, запрещённые в robots.txt, не посещаются, а ссылки входа, выхода, корзины и подобных действий никогда не открываются. Страницы читаются до 1 МБ, изображения и внешние ссылки — только первые 4 КБ.
Почему некоторые внешние ссылки показаны как отклонённые, а не битые?
Коды 401, 403, 429 и 999, который возвращают некоторые соцсети, обычно означают, что другой сайт отклоняет автоматические посещения; в браузере страница может открываться нормально, поэтому такие ссылки вынесены отдельно для ручной проверки. Тайм-ауты и ошибки сервера 5xx тоже вынесены отдельно, потому что часто бывают временными.
Видит ли он ссылки, добавленные через JavaScript?
Нет. Сканер читает HTML, который возвращает сервер, и не выполняет JavaScript, поэтому ссылки, добавляемые только скриптами в браузере, не видны. Именно этот HTML поисковые системы читают при первом проходе.
Какие страницы попадают в создаваемую карту сайта?
Только просканированные в этот раз страницы того же сайта, которые сразу отвечают 200, разрешают индексацию (нет noindex) и имеют canonical на себя или не имеют его вовсе. Перенаправления, битые страницы, страницы, закрытые в robots.txt, и недостигнутые страницы исключаются; проверьте список перед загрузкой.
Какой User-Agent использует сканер и как его ограничить?
Его User-Agent содержит XunLLinkChecker/1.0. Добавьте в robots.txt группу User-agent: XunLLinkChecker, чтобы задать для него собственные правила Disallow или Crawl-delay; без неё действуют правила User-agent: *.