В твиттаке форсят такую штуку, которая позволяет запустить GLM 5.2 на 25 гигах оперативы https://github.com/JustVugg/colibri

Бенчмарки меня просто забавляют
[Performance]: native Windows 11 (MinGW) — i5-12600K / 32 GB / WD SN770 → 0.08–0.14 tok/s (first native-Windows datapoint)

Benchmark: Mac Mini M4 Pro (48 GB) — 0.30 tok/s with Metal backend (PR #72), 0.18 CPU-only

[Performance]: M5 MAX 128GB with METAL - 1.83 tok/s

На эту тему мне вспомнился анекдот

Командир демонстрирует солдатам новую нейронку.
- Вот, товарищи бойцы, это новая нейронка GLM-5.2. Петров.
- Я!
- Запусти ее на маке с 25 гигами оперативы через колибри.
Петров тужится, пыжится, не запускается.
- Не поднять.
- Сидоров, помоги Петрову.
Пытаются вдвоем, подключили стационарник на 50 гигов, та же ситуация.
- Не поднять.
- Иванов, помогай.
Пыхтят втроем, врубили уже последний макбук М5 про макс 128гб оперативы. Поднять не могут, выдает только 0,16 токенов/c. Простое сообщение hi обрабатывается 152 секунды.
- Никак не поднять, товарищ командир!
- А хули вы хотели? 744B...1,8TB на жестком диске