Тестирую сканер битых ссылок на сайтах InstantCMS — приглашаю сообщество помочь!

В процессе работы над своими сайтами мне регулярно приходится проверять битые ссылки. Особенно это становится актуально после переноса материалов, изменения URL, удаления старых страниц или больших обновлений сайта.

Поэтому сделал небольшой онлайн-сервис для проверки сайтов и решил открыть его для всех:

Сканер битых ссылок:
https://itsnew.ru/services/skaner-bityh-ssylok.html

Ничего устанавливать на сайт не нужно — достаточно указать адрес домена и запустить проверку.

Сканер проходит по страницам сайта, собирает найденные ссылки и проверяет ответы серверов. В отчёте можно посмотреть:

страницы с ошибками 404 и 410;
ошибки сервера 5xx;
редиректы;
ограничения доступа 401/403;
418 и другие нестандартные ответы серверов;
429 — ограничение количества запросов;
внутренние и внешние ссылки;
страницу, на которой была найдена конкретная ссылка;
анкор ссылки;
конечный URL после редиректов;
время ответа;
сетевые ошибки и проблемы соединения.
Результаты можно фильтровать и выгружать в CSV.

Для незарегистрированных пользователей сейчас установлен лимит 100 страниц, для зарегистрированных на IT'S NEW — 1000 страниц. Лимиты пока специально оставил умеренными, поскольку одновременно тестирую нагрузку и скорость работы сканера.

Сервис ещё активно дорабатывается. За последние дни, например, пришлось отдельно разбираться с сайтами, которые возвращают сканерам HTTP 418, 403 или 429. Такие ответы теперь не считаются автоматически «битой ссылкой», потому что сама страница при этом вполне может работать — сервер просто ограничивает автоматические запросы.

Сейчас также занимаюсь ускорением обхода больших сайтов. Поэтому мне как раз была бы полезна помощь сообщества InstantCMS.

Если есть желание — прогоните через сканер свой сайт на InstantCMS и напишите в комментариях, как он себя повёл.

Особенно интересны случаи, когда:

сканер показывает битую ссылку, которая на самом деле работает;
наоборот, известная вам 404 не обнаруживается;
сканирование останавливается или идёт слишком долго;
сайт использует необычные редиректы;
появляются странные HTTP-коды;
результаты отличаются от других подобных инструментов;
есть идеи, какой информации не хватает в отчёте.
Буду постепенно исправлять найденные проблемы и улучшать сервис.

Цель здесь довольно простая — сделать бесплатный и удобный инструмент, которым можно быстро проверить свой сайт после обновления, переноса или обычной работы с контентом, в том числе проекты на InstantCMS.

Если в процессе тестирования найдёте ошибку — пишите прямо в комментариях к этому посту. Желательно указать адрес сайта или хотя бы пример проблемной страницы и то, что именно показал сканер.

Буду благодарен за тесты и обратную связь. Возможно, в итоге получится действительно полезный инструмент для сообщества.