Jev не нужен! NVIDIA с учёными из университета, который с прошлого года запрещено упоминать, выпустила свой аналог Jev
📋 NVIDIA выпустила CLM-8B, первый открытый представитель класса контрастных языковых моделей.
Модель, как и Jev, не пишет ответ по токенам: она превращает текущее состояние и каждый возможный вариант действия в векторы и выбирает самый близкий.
Веса под лицензией Apache 2.0.
⚙️ Как устроено. В основе замороженный Qwen3-8B, поверх которого обучены две проекции примерно по 20 млн параметров, одна для состояний, другая для действий.
Учили в три этапа: 60 млн пар вопрос-ответ Nemotron, 30 млн правдоподобных неверных вариантов, 1 млн траекторий реальных агентов.
В работе модель считает близость состояния и действий и превращает её в вероятности.
📊 Скорость. В игре T-Rex решение занимает всего 16,5 мс против 149,8 мс у закрытой модели Jev, почти в 9 раз быстрее.
В Super Mario 33,5 мс против 132,6 мс.
Векторы действий считаются заранее и лежат в памяти: при смене состояния они не меняются.
На одной RTX 4090 повторный заход в ту же ситуацию падает с 1,7 мс до 0,6 мс, а при тысяче вариантов действий модель обгоняет Jev в 13 раз.
⚖️ Ограничение. Новых действий модель придумать не может, она выбирает только из готового набора.
Схема получается такая: языковая модель порождает варианты, CLM быстро выбирает, агент выполняет.
По точности выигрыш не везде: в вызове инструментов CLM набирает 95,2% против 99,2% у Jev, в WikiRacing решает 26 задач из 30 против 30 из 30.
Быстрее при этом везде.
💼 Зачем бизнесу. Обучаемой части всего около 40 млн параметров, весит она 75 МБ и работает на одной видеокарте. Для агентов, которые много раз выбирают из одного набора действий, это ускоряет работу без переобучения основной модели.
📎 Ссылки:
• Блог проекта
• Веса на Hugging Face
• Код на GitHub
Очень похоже на RSI эксперимент, который мы делали с Гермесом на той неделе, только у меня было 4 разных области задач, - змейка, тетрис, текст и картинки, а тут заточка под 1 задачу, что ещё проще.
потому и скорость выше в 10 раз.
#LLM #агенты #Jev #CLM #NVidia
———
@tsingular
Post #8689
1.22K
- 🔥 5
- 🆒 2
- ❤ 1
- ⚡ 1