Интересная по описанию либа Humming от InclusionAI.

Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU).

⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций:

• 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP.
• ⚡ Активации можно квантовать в FP16/BF16/FP8/FP4/INT8/INT4. FP8 поддерживается только начиная с Hopper, а FP4 — с Blackwell.

🧩 Ещё он работает с MoE и позволяет прикручивать адамаровы повороты в квантизацию.

🤷‍♂️ Утверждается, что он выдаёт SOTA-скорость и эффективность, но никаких чисел в README, да и вообще нигде, не приводится.

📊 Квантованных чекпоинтов с замерами качества и скорости тоже нигде нет.

🤔 Выглядит потенциально интересно для ресерча, но как будто не хватает нормальной доки и полноценного описания бенефитов. Могли бы Claude Code постараться напрячь, раз он у них и так многое делает.