Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инференс движке.

Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути.

Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое.

Попробовать можно уже сегодня
M checkpoint - поменьше
L checkpoint (lossless)

Все модели которые мы поддерживаем лежат тут, будем рады если попробуете что-то еще.

Бенчи тут. Можно изучить как и что измерено и насколько лучше.

Подробнее про релиз блог пост