и 1гб kv кэша на 1м токенов это вау,
челы сделали схему иерахического спарс индекса кв кэша внутрь модели, по сути загнали radix внутрь ллм
репорт
Post #11031
9.74K
Love. Death. Transformers. Соревнование "deepseek encoder sota" объявляю открытым
- 🔥 81
- 🐳 4
- 💋 4
- 🦄 1
- 😡 1