Датасет VK-LSVD (Large Short-Video Dataset) для развития рекомендательных систем

Сейчас в открытом доступе не так много больших открытых датасетов, на базе которых инженеры и ученые могут обучать и оценивать модели. Для построения точных рекомендательных алгоритмов важно учитывать не только явные реакции пользователей, но и дополнительные сигналы: продолжительность просмотра, контекст, содержимое. Короткие видео – это уникальный формат для задач рекомендаций. В отличие от музыки, подкастов или длинных видео, у роликов почти отсутствует фоновое и повторное потребление. В ленте показывается один ролик за раз, что упрощает атрибуцию фидбека. А так как пользователи просматривают десятки клипов за одну сессию, фидбека действительно много. Все это повышает точность оффлайн-оценки алгоритмов и позволяет добиваться лучшей корреляции с онлайном.

Поэтому исследователи AI VK выложили в открытый доступ масштабный датасет VK-LSVD на базе сервиса коротких роликов.

Детали

🔸40 млрд обезличенных уникальных взаимодействий пользователей с короткими видео за шесть месяцев (январь–июнь 2025);
🔸20 млн коротких видео с метаданными (автор, длительность) и контентными эмбеддингами;
🔸10 млн пользователей с соцдем признаками (возраст, пол, регион);
🔸Богатый фидбек: лайки, дизлайки, шеры, закладки, клики на автора, открытия комментариев, а также время просмотра и контекст взаимодействия.

Вместо деления на фиксированные размеры датасета, VK-LSVD позволяет гибко настраивать выборку под задачи конкретного исследования. Можно самостоятельно задать нужный объём данных, выбрать, как именно их отбирать — случайным образом или по популярности. Такой подход позволяет адаптировать датасет под реальные задачи и вычислительные мощности, которые есть у команд. И применять VK-LSVD как для академических проектов, так и для масштабных индустриальных экспериментов.

Найти датасет можно по ссылке

А уже скоро мы на его базе проведем открытое соревнование для инженеров, следите за обновлениями!