1) Переписываю старого бота, который следит за онлайном зрителей с Node.js на Джаву, с последней больше опыта и там будет не костыль на костыле, а плюс-минус нормальное многопоточное приложение. Это позволит сохранять онлайн не 60 топовых стримеров, а мониторить вообще все ру-трансляции, которые онлайн на Твиче каждую минуту. Пытаюсь с самого начала заниматься норм оптимизацией с расчётом на увеличение нагрузки (начинаю с сохранения топ-100 стримов по онлайну и планирую дойти до топ-300).
2) Оптимизирую базы данных. Их текущий объём, когда отдельные таблицы уже состоят из 200 млн+ записей, а с новым ботом будут разрастаться в десятки раз быстрее, нужно как-то контролировать и архивировать. Чтобы в актуальном доступе оставались только последние данные, а всё старое убиралось из таблицы, дабы не мешать.
Если кто шарит - то собираюсь решать проблему с помощью сегментирования таблиц (
partition в MySQL), старые сегменты собираюсь извлекать из работающей бд в бэкапы.