​​🤓OneGen: эффективная однопроходная унифицированная генерация и извлечение для LLM

Структура объединяет традиционно раздельные подходы к обучению для генерации и поиска, включая токены поиска, сгенерированные авторегрессионно.

Это позволяет одному LLM обрабатывать обе задачи одновременно в едином прямом проходе.

Мы проводим эксперименты с двумя различными типами составных задач, RAG и связыванием сущностей, чтобы проверить подключаемость, эффективность и результативность OneGen в обучении и выводе.

Кроме того, наши результаты показывают, что интеграция генерации и поиска в одном контексте сохраняет генеративные возможности LLM, одновременно улучшая производительность поиска.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться