TGViewer
КПД КПД @quant_prune_distill · 3.49K subscribers
Post #731 2.23K
Обожаю ревьюить конфы по ML-ю.

Чуваки в одной статье утверждают, что они первые придумали mixed-precision квантизацию 🤣.

А еще хвастаются тем, что с 2.7 бит в среднем на параметр бьют бейзлайны по качеству с 2 битами на параметр.

И замеряются на 1-ой Llama в 2026 году.
  • 🤣 44
  • 👏 7
  • 😱 4
  • 🤔 2
  • ❤ 1
More from @quant_prune_distill
  1. Oct 6, 2026Совпадение? Не думаю!
  2. Oct 5, 2026Теперь уже даже время прочтения блога это ориентир не для человека, а для LLMки. https://r…
  3. Oct 4, 2026"Горячие" эксперты
  4. Oct 4, 2026photo post
  5. Oct 1, 2026🛠 Метод Типичный scaling law имеет вид: L(N, D) = A N^α + B D^β + c 🔄 Скейлинг по рекурс…
  6. Oct 1, 2026Scaling Laws for Looped Mixture of Experts 📄 Статья Есть MoE, которые как-то скейлятся (п…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →