Наткнулся тут на забавный ресёрч одного чувака, который под пивас кодит свою поисковую систему. Так вот, загорелся он идеей проверить работоспособность веб-сайтов из различных dataset подборок.
Один из таких датасетов собирается компанией Majestic, которая парсит весь интернет и составляет топ сайтов аж с 2006-го года. [cписок старше, чем некоторые отпищеки extremecode, хех]
Первая проблема возникла при нормализации данных - агрегатор тупо на нее забил, проблема в том, что встречались дубликаты сайтов: bl.uk и www.bl.uk считались как разные записи, в итоге оказалось 211 дубликатов.
МИЛЛИОН-ТО ОКАЗАЛСЯ ЛИПОВЫМ
Но дальше больше, нужно было на каждый домен отправить хотя бы один http запрос. Чел смог на своем MacBook Pro распараллелить всю работу на 512 процессов, что позволило прогнать весь список за час (неплохо, вот тут респект 👍)
В итоге вышла следующая агрегация по статус-кодам:
num | http_code
——————————————————
| 815669 │ 200 │
│ 107776 │ 0 │
│ 18140 │ 403 │
│ 14183 │ 404 │
│ 10353 │ 301 │
107,776 сайтов вообще не подали признаков жизни 🧐