2026-10-10: Новое решение для редактирования контекста моделей CLM 🚀

Представлен подход Context Language Models (CLM), который позволяет модели хранить контекст как редактируемый файл на диске. Модель самостоятельно читает, сжимает и переписывает контекст с помощью команд Bash и Python, что снижает необходимость внешних эвристик суммаризации.

Для оптимизации вычислений создан патч Suffix Cache Reuse (SCR), который позволяет избежать повторного вычисления KV-кэша при правках в середине контекста. В экспериментах Qwen3.6-27B с CLM достигла значительного улучшения точности и ускорения вычислений на различных тестах.

Данный подход улучшает стабильность и эффективность работы с длинным контекстом, исключая хрупкие эвристики, хотя модели всё ещё нужно напоминать о лимите токенов.

🌎 Источники:
• arxiviq.substack.com
• arxiv.org
• github.com
• t.me
• github.com

✍️ by gonzo_ML

#news #ai #tools
🇬🇧 🇷🇺 ☕️ 🌐 💷