Большие данные — это не только про хранение и обработку, но и про инфраструктуру и команды, которые за этим стоят. YTsaurus уже три года развивается как опенсорс-платформа, и за это время её заметно расширили в сторону более полного покрытия задач — от хранения до ML, обо всем рассказали на митапе.

Что изменилось за последний год:

ML и GPU: добавили поддержку GPU в k8s, доработали планировщик и сделали API для распределённого чтения и записи датасетов.

Система хранения: появились row-level security, constraints.

Эксплуатация: развиваются инструменты мониторинга и сервисы для администрирования.

Разработку платформы возглавляет Максим Бабенко, который руководит направлением инфраструктуры хранения и доступа к данным в Яндексе и участвует в образовательных программах, его команда сочетает инженерный и академический опыт.