TGViewer
КПД КПД @quant_prune_distill · 3.51K subscribers
Post #325 2.31K
Есть просто банк, есть банк столбов и матриц, а есть банк оптимальных решеток для квантования данных из нормального распределения...

Если конректно, чуваки собрали MSE-оптимальные решетки для числа точек от 1 до 5000 для одномерного нормального распределения, и для всех размерностей от 2 до 10 и числа точек от 1 до 1450 для многомерной гауссианы (с нулевым средней и единичной матрицей ковариации).

Решетки были найдены через Lloyd-CLVQ algorithm.

Зачем оно надо? Если ваши данные нормально распределены, или вы можете каким-то образом привести их к этому виду, то такая квантизация при заданной битности будет оптимальной с точки зрения квадратичной ошибки.

[Сайт проекта]
  • 🔥 9
  • ❤ 2
  • 👍 1
  • 🤨 1
More from @quant_prune_distill
  1. Oct 16, 2026Post #870
  2. Oct 15, 2026⚙️ Метод При низкоранговом сжатии можно пытаться приближать ошибку аппроксимации весов (SV…
  3. Oct 15, 2026🧠 Learning Functional Subspaces for Neural Network Compression 📄 Статья Вообще говоря, п…
  4. Oct 15, 2026I have a Universal Transformer I have a Universal Attention I have a Universal Transformer…
  5. Oct 15, 2026Считаю что статьи без кода, если это только не теор DL или position paper, надо деск редже…
  6. Oct 14, 2026🧩 Метод DEdit предлагает следующее: - 🔹 На первом проходе делаем первичное предсказание.…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →