- Мам, давай купим Jev по API
- Нет, у нас есть Jev дома
Jev дома:
Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели.
Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы.
Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти.
https://github.com/taeold/djev-run
Post #10001
15.3K
Data Secrets Бывший разработчик ChatGPT представил новый класс моделей System One Models, которые не генерируют текст Диого Алмейда – соавтор RLHF и один из авторов статьи про InstructGPT (именно эта техника легла в основу для ChatGPT в 2022). В 2024 он основал TypeSafe…
- ❤ 139
- 🔥 66
- 👍 24
- 😁 13
- ⚡ 2
- 🤔 2
- 🤯 2
- 🕊 2
- 💯 1