Поделюсь с вами радостной новостью: у меня наконец-то появился положительный сдвиг в работе над нашими ботами 🎉

Для тех, кто не знает, я ещё в 2019 написал несколько ботов для отслеживания разной статистики с Твича - сообщений в чате, сессий зрителей и прочей инфы вроде "кто на кого подписан/фолловнут". Из этой инфы планировал сделать раздел на сайте с более детальными данными, чем ща предоставляют разные сервисы статистики. Но, к сожалению, спустя несколько месяцев после запуска этих всех разделов на тест, я понял, что объём поступающей информации слишком велик, чтобы в реал-тайме записывать и обрабатывать поступающую на тот момент информацию хотя бы даже о нескольких десятках самых популярных стримерах.

Всё из-за карантина, который поднял онлайны до нескольких десятков тысяч, что сильно повысило требования к нагрузке разрабатываемой мною системы. И в итоге, мне пришлось отказаться от мгновенного отображения на сайте всей поступающей инфы. Я стал раз в несколько месяцев обновлять таблицы лидеров по "времени просмотра" стримов, но они по-прежнему требовали большой доработки - данные были не очень точные из-за регулярных падений ботов.

Но как же хорошо, что рост группы постепенно продолжался, и у меня периодически начали появляться свободные деньги, которые стали и текущий сервер покрывать, и позволили даже увеличить его мощность/память. А этим летом благодаря хорошему количеству интеграций (с тем же ТНТ и ещё парой проектов) я наконец-то смог позволить себе подойти к этому делу более серьёзно и выделить дополнительно отдельные сервера для всей этой деятельности. Вместе с этим я вложился и в разработку, вернувшись к переписыванию ядра всей этой аналитической системы с нуля.

И сегодня мой прототип, который уже вовсю тестирует вполне реальную нагрузку, показал обнадеживающие результаты. В ближайшие дни я подробнее расскажу и о технической части - что у меня было, что я решил поменять и какие цели ставлю перед всей системой.