1:11 Files in queue: 1808521
Buffer: 4768/5000 (95.3%) | Workers: 32
Я: Кеш ещё греется
Я: 10 файлов в секунду пока в пике
Я: 12 файлов в секунду пик
Я: Немного поменял настройки буфферизатора, разогнались, уже 1к в буфферe
Я: Download speed 28.32 files/sec
Я: СКОРОСТЬ ЗАГРУЗКИ ФАЙЛОВ ВДВОЕ ВЫШЕ СКОРОСТИ РАБОТЫ ВСЕХ ВОРКЕРОВ
Я: ОН ПЕРЕПОЛНИЛСЯ
Модератор: АХХАХАХВХАХВХА
Мы достигли предела совершенства контроллера, он работал с файлами так быстро и эффективно, что успевал попутно отдохнуть и собрать буффер.
1:47 Files in queue: 1775747
Buffer: 4779/5000 (95.5%) | Workers: 32
5:03 Files in queue: 1597441
Buffer: 4850/5000 (97%) | Workers: 36
И наконец... 4 марта, 5:35:40 - мы разобрали 2 миллиона, всего 1 день, 9 часов и 33 минуты. Получается мы в среднем обрабатывали 16,5 файлов в секунду. (по факту в пиках куда быстрее).
Ну а так как постик получился короче, то я подкрепил вам видео того как шла эта обработка от лица контроллера
#downTime