💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM).
Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений.
🔍 В чём проблема современных LLM?
Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели.
Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления.
💡 Решение от DeepSeek: Engram
Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений.
Как это работает (упрощённо):
1. Для текущего слова или фразы (
N-gram) модель вычисляет уникальный хэш (цифровой отпечаток).2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (
O(1)) извлекается заранее сохранённый вектор знаний.3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели.
📈 Экспериментальные результаты:
- Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие.
- В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0.
🚀 Что это значит?
Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая:
1. Условные вычисления через MoE (для эффективности).
2. Условную память через Engram (для знаний и скорости их извлечения).
GitHub
#КитайскийИИ #КитайAI #УсловнаяПамять #Engram
