Даже хорошая рекомендательная модель может показать отличный результат на тесте, но провалиться в реальности. И проблема часто скрывается в данных.
Исследователи Центра практического ИИ Сбера и AIRI создали SplitLight — открытый инструмент, который помогает находить такие проблемы ещё до обучения и сравнения моделей.
Что он умеет
🟣 Ищет аномалии в данных и даёт рекомендации по их устранению. Например, сбои логирования, дублирующиеся события и сдвинутые временные метки
🟣 Проверяет реалистичность эксперимента. Не попали ли в обучение данные из будущего, учтены ли новые пользователи и объекты, насколько отличаются тренировочная и валидационная выборки
🟣 Помогает сравнивать исследования. Фиксирует ключевые статистики разбиения и подготовки данных, чтобы эксперименты можно было воспроизводить и корректно сопоставлять
🟣 Показывает общую картину. Выводит на дашборде подробную статистику по проблемам в данных
Команда проекта во главе с исполнительным директором по исследованию данных Центра практического ИИ Сбербанка Алексея Васильева протестировала SplitLight на шести популярных открытых датасетах и наглядно показала: даже незначительные изменения в разбиении способны заметно повлиять на метрики и трактовку качества модели.
А научную работу о SplitLight представили на ACM SIGIR 2026 — одной из ведущих международных конференций в области информационного поиска и рекомендательных систем.
Забрать инструмент можно на GitVerse, а также на GitHub
✈️@sb_ai_lab