Новая система прям очень амбициозная конечно, и я вообще удивлён, что даже первый этап реальной нагрузки я смог снизить до приемлемых цифр. Однозначно надо ещё ждать, пока база данных разрастётся до действительно серьёзного состояния, а не тестового, но я в этот раз постарался почитать про горизонтальное масштабирование и придумывал структуру уже с учётом возможности докупать новые сервера.

А пока держите несколько графиков прототипа:
— Первые два скриншота в момент первых тестов, когда сервер переставал справляться с анализом части данных одной "метрики" в период 20 до 22 по мск;
— Следующие два - текущее состояние после семи оптимизаций, сервер справляется с анализом в два раза большего количества данных этой же метрики на протяжении всего дня, не превышая нагрузку в 14% CPU и 3ГБ оперативки.

Новый этап нагрузки по моему плану повысит сложность сбора данных в несколько раз, подробнее расскажу уже завтра, когда начну получать первые результаты по этому этапу.