Сегодня я узнал, что вместо того, чтобы парсить интернет — можно скачать его с архив орг:
Вот, например: https://archive.org/details/alexacrawls — всего 211 терабайт - и индекс alexa_2007 будет у тебя!
Что на самом деле очень круто и гораздо лучше, чем очередным пауком обходить интернет.

p.s.
Internet Arhive Web — 18,5 петабайт.
Не благодарите: https://archive.org/details/web