🛞 Cartridges: как ускорить LLM в 26 раз без потери качества
Что, если вместо того, чтобы каждый раз загонять в контекст LLM весь репозиторий, мы предварительно обучим мини-контекст — и будем просто вставлять его при генерации?
Это и есть идея Cartridges — небольшой KV-кэш, обученный заранее с помощью метода self-study (обучение во время инференса).
Репозиторий: содержит код для тренировки "картриджа" — легкого представления большого текстового дампа (например, всей кодовой базы), которое вставляется в LLM как контекст.
Проблема:
🔴 Если вставлять много текста в LLM, KV-кэш раздувается, скорость падает, стоимость растёт
Решение:
🔵 Обучаем маленький KV-кэш для документации или репо
🔵 Используем его как "сжатый контекст" при генерации
Результаты:
🟠 До 26× ускорения
🟠 Качество ответов сохраняется
🟠 Простая реализация и универсальный подход
Подробнее в статье: *Cartridges: Lightweight and general-purpose long context representations via self-study*
git clone https://github.com/HazyResearch/cartridges && cd cartridges
pip install uv
uv pip install -e . Идея простая, но мощная: пусть LLM "запоминает" ваш проект заранее — и работает с ним быстро, как с привычным знанием.
Гитхаб
👉Новости 👉База вопросов