А тут и Квен3 для кодинга подоспел...
- 480B параметров
- 35B активных
- 256k нативного контекста (с экстраполяцией до 1M)
Учили на 7.5т токенов ( с какой инициализации? )
[Блогпост]
Post #512
2.77K

- 🔥 10
- 🤬 1
КП КПД @quant_prune_distill · 3.49K subscribers