#engineering
Цікава стаття про те, як розробник побудував crawler, що просканував мільярд сторінок трохи більше ніж за 24 години.
Вартість ресурсів - $462
Кластер складався із 12
i7i.4xlarge машин, кожна з 128 Gb RAM та 3750 Gb жорсткого диску. Пропускна здатність при цьому була 10 Gbps.