🎉 Поздравляем команды YTsaurus и Яндекс Рекламы с опенсорс-релизом YTsaurus Flow!

Яндекс открыл код движка потоковой обработки данных, который работает с потоками свыше 100 ГБ/с и обеспечивает обработку событий без потерь и повторного учёта. Теперь его устройство можно изучать по исходникам, использовать в своих проектах и участвовать в развитии.

Для ШАДа это особенно близкая новость. Мы уже рассказывали о преподавателях, которые развивают YTsaurus. За курсами направления «Инфраструктура больших данных» о распределённых системах, хранении и обработке данных стоит опыт создания инфраструктуры, которая ежедневно работает под огромной нагрузкой.

О том, как устроен Flow, написал Егор Хайруллин — руководитель отдела инфраструктуры рекомендательных систем, 🎓 выпускник ШАДа и преподаватель курса алгоритмов. В статье разбирается, как система восстанавливается после сбоев и почему переход на потоковую обработку помог сократить время от события до его влияния на рекламную модель с десятка-другого часов примерно до двух.

У нас часто спрашивают: «Зачем в ШАДе сложный курс алгоритмов — и почему на C++?» В том числе чтобы понимать и развивать такие системы. При потоках свыше 100 ГБ/с выбор структуры данных, сложность алгоритма и работа с памятью напрямую влияют на расход ресурсов. Ядро YTsaurus Flow написано на C++ — здесь фундамент из курса превращается в конкретные инженерные решения.

Поздравляем коллег с релизом! Спасибо, что делитесь знаниями на занятиях, а инженерными решениями — со всем сообществом ❤️

📖 Читать статью на Хабре
💻 Изучать исходный код

Ваш ШАД 🎓