Инструмент для анализа сайтов в интернет-архиве Wayback Machine (web.archive.org)

Нашел на просторах интернета интересный инструмент - анализатор данных Internet Archive, который обеспечивает комплексный анализ и визуализацию исторической эволюции сайтов, предлагая ценную информацию об их структурных изменениях и производительности с течением времени на основе возможностей сервера Wayback Machine.

Основные функции

Извлечение URL
- Эффективно извлекает все архивные URL-адреса для указанного домена из интернет-архива Wayback Machine.

Визуализация структуры папок
- Динамически отображает эволюцию структуры папок сайта с течением времени.
- Узнайте, как структура сайта менялась с течением времени. Также инструмент позволяет легко увидеть, когда был осуществлен перенос сайта или на каких этапах жизни у него возникали технические проблемы.

Анализ кодов ответа
- Подробное распределение кодов ответа HTTP на всей истории сайта.
- Полезно для быстрого просмотра таких вещей, как частота ошибок сервера, удаленные страницы, редиректы и 200 страниц статуса.

Часто изменяемые страницы
- Сервис определяет и перечисляет наиболее часто изменяемые страницы, предлагая информацию об обновлениях контента.
- Полезно для быстрого отслеживания наиболее часто меняющихся страниц конкурентов.

Эволюция Robots.txt
- Отслеживает и визуализирует изменения в файле robots.txt, выделяя изменения в настройках сканирования.
- Полезно увидеть эволюцию robots.txt с течением времени и сравнить. Также есть возможность быстрого восстановления рабочей / исторической версии robots.txt.

Ссылки

Ссылка на сервис: https://wayback.streamlit.app/
Сайт автора: https://leefoot.co.uk/