🚀 DeepSeek представила V3.2-Exp с технологией разреженного внимания

Опенсорс также не остался в стороне от потока позитивных новостей :)
Компания DeepSeek выпустила экспериментальную версию своей модели V3.2-Exp, которая использует новый механизм разреженного внимания (DeepSeek Sparse Attention).

Ключевые особенности:

• Снижение стоимости обработки длинных контекстов на 85%
• Обработка только 2K наиболее важных токенов из 128K
• Сохранение качества на уровне V3.1-Terminus
• Снижение цен API более чем на 50%

Технические характеристики:

🔹 Модель игнорирует нерелевантные токены
🔹 Фокусируется на топ-2K токенах из контекста 128K
🔹 Значительное улучшение эффективности обучения и инференса

Доступность:

1️⃣ Hugging Face
2️⃣ Официальное приложение DeepSeek
3️⃣ Web-интерфейс
4️⃣ API с пониженными ценами (-50%)

Я жду пока появится на openrouter.ai или requesty.ai чтобы потестировать на нескольких задачах AI-кодинга средней сложности как чуть ранее делал для модели code-supernova здесь (тестировал через github codespaces - очень удобно, не нужно загружать свой ПК)

Производительность:
Тестирование показало сопоставимые результаты с V3.1-Terminus по основным бенчмаркам, включая MMLU-Pro, GPQA-Diamond и LiveCodeBench.

Модель доступна под лицензией MIT и поддерживается популярными фреймворками для инференса SGLang и vLLM 📊

Источники:
🔗 [GitHub репозиторий]
🔗 [Hugging Face]

@llm_notes

#deepseek #sparseattention #longcontext #llm #opensource