Учёные Центра практического искусственного интеллекта Сбера совместно с коллегами представили два исследования, которые делают обучение моделей легче и дешевле 🤩
🤩 Компактные рекомендательные системы
Был предложен новый способ переноса знаний LLM в компактные рекомендательные модели
Как работает: на этапе обучения по истории взаимодействий и текстовым данным формируется профиль пользователя — его предпочтения и поведение. Он переводится в вектор, с которым выравниваются внутренние представления рекомендательной модели
В итоге при выдаче рекомендаций реальному человеку тяжёлая модель уже не нужна
Результаты
🟣 На датасете ML-20M точность NDCG@10 выросла на 5,62%
🟣 Скорость создания рекомендаций выросла в 190 раз
🤩 Метрика для выбора лучшей архитектуры
Разработана метрика Persistence, основанная на топологическом анализе данных
Как работает: над множеством точек в пространстве эмбеддингов строится фильтрация Вьеториса-Рипса, а суммарная персистентность топологических признаков отражает геометрическое разнообразие этого пространства
Метрика позволяет
🟣 Оценивать качество эмбеддингов без разметки
🟣 Подбирать оптимальную архитектуру модели
🟣 Определять, когда лучше остановить обучение
И всё это — без участия человека и тестовых меток. Метод оказался качественнее существующих подходов и теперь помогает экономить GPU-часы, ускоряя разработку и вывод ИИ-решений на рынок
Оба подхода делают обучение моделей эффективнее: меньше ручной работы, меньше затрат и высокие результаты 🤩
🔥 — хотим ещё больше новых открытий
✔️ Подписывайтесь на Sber AI в MAX