Сегодня со страшной силой хайпует Qwen3.8 27B Ternary Bonsai от PrismML.
Чуваки заявляют что 9 кратной меньшей модели по размеру сохраняет 98,2% от совокупной производительности на бенчмарках (что это значит вообще?)
Я такой весь на хайпе с утра, скачиваю, поднимаю, закидываю ему дефолтный промпт про шутан и иду дальше делать свои дела. Использую опять же по своей отработанной схеме - omp и чистый профиль, где только эта модель. Через какое-то время возвращаюсь, смотрю как там у него дела. Понимаю что что-то не то.
Прошу попуса присматривать за тем что он там делает, не вмешаться и периодически присылать мне скриншоты.
Короче не получилось у него вообще ничего. Оно просто не запускается. Вернее проходит на кадр чуть дальше главного меню и всё. Ни пушки, ни движения, ни врагов. Потрачено было 6 часов на это. ХММММММ - думаю я.
Окей, наверное слишком сложно.
Закидываю простую советскую воксельную пагоду. Результат собственно на видео. Класс? Класс.
Анонс собрал 4млн просмотра и все как обычно визжат и не проверяют ни-че-го сами...
В таком случае лучше реально используйте ISTA-DASLab GSQ-RCO IQ2_XS.
Да, она не влезет в 8ГБ, но отлично влезает в 12 с 128к контекстом + vision с Q4 KV. Ну типа вообще другой уровень совсем.
Короче мне грустно.
Post #617
26
Forwarded from Фарш не провернуть 💝