MrGips • Про LLM

Сегодня нашел время протестировать Unsloth Desktop. Это LM Studio на максималках. Кажется, это претендент в мой личный топ софтов для запуска ллм. Но не суть.

Провел я тест Qwen 3.8 27b в разных режимах thinking (да, в usloth desktop можно одним кликом менять думалку).

Промт:

I need a topdown view of a Playstation 5 controller in SVG.
It needs to be so well done that a photo from topdown looks identical in color, grading, positioning, subtle details, shadows, shape etc.

Без референсного изображения, но с использованием тулов.

Подписывайтесь на НАШ ЧАТ чтобы присоединиться к тестированию.

Держу в курсе. Приятной генерации!

🔥 NVIDIA собирается купить Hugging Face за $12,9 млрд

По данным Reuters, NVIDIA согласилась приобрести Hugging Face - одну из главных площадок опенсорсных моделей.

Ну что, затариваемся всякими uncensored модельками, пока их не вычистили из обнимающегося лица.

И переходим на китайский аналог - ModelScope

А пока, приятной генерации!

Qwen 3.8 Flash Next GGUF - свежак от Unsloth.

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

Если файлов еще нет, значит пацаны грузят. Прогреваем свои аппараты и готовимся тестить!

Обсуждаем релиз в НАШЕМ ЧАТЕ

Всем быстрых токенов!

Типичное локальное LLM сообщество. 😁

Очень похоже на НАШ ЧАТ

Подписывайтесь!

Август еще не закончился, а Qwen завтра нас порадует новинкой - Qwen 3.8 Flash Next

Ух ждем. Я сам пока не понимаю что это будет. Потом почитаю подробнее и выдам пост.

https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next/summary

Можете тут почитать☝️

А я всё, пока что выключаю.

Несколько месяцев назад я случайно заметил этот лаунчер для llama.cpp и показал его в своем видео. И понеслось!

Видео для освежения памяти: https://youtu.be/vcPGTI_VA4k

Это была простенькая, но удобная программка, которая упрощает запуск ЛЛМок.

С того момента это уже не просто программка, а блин, уже целый комбайн, MCP серверами, блекджеком, мощными бенчмарками, доступом к ComfyUI, и десятками настраиваемыми параметрами из удобного интерфейса.

Как говорил автор, мое видео подтолкнуло к дальнейшему развитию проекта. И это заметно - обновления появляются чуть ли не каждый день. Я рад, что это стечение обстоятельств, дало толчок полезному продукту, которым пользуется все больше ЛЛМ энтузиастов. И теперь ссылка на мой канал красуется в репозитории лаунчера.💪

Скачивать тут: https://github.com/pytraveler/LlamaServerLauncherAvalonia

Подписывайтесь на НАШ ЧАТ

Приятной генерации и быстрых токенов!

NKD Face Rig - управление лицом в реальном времени для ComfyUI

На самом деле тут много всего интересного. Можно вручную управлять бровями, веками, направлением взгляда, ртом, челюстью и положением головы, перетаскивая контролы прямо на лице. Результат перерендеривается при изменениях.

Я еще не тестил, но схоронил и вам советую. Выкладывайте свои результаты в НАШ ЧАТ в раздел ComfyUI

Приятной генерации!

Qwen, спасибо за насыщенный август!

Надеюсь сентябрь будет таким же, октябрь и … подписывайтесь на НАШ ЧАТ!

Всем быстрых токенов!

Aurora-80K - Крошечная LLM на 80 000 параметров

Не знаю зачем она нужна, но прикольно. И что самое интересное: обучали ее около 6 часов на смартфоне Xiaomi 14T Pro, используя 4 ядра Cortex-X4.

https://huggingface.co/AuroraAI-Research/Aurora-80K

Ссылку прикрепляю, но можете не качать, просто знайте.

Всем тяжелых моделей с быстрыми токенами!

Qwen 3.8 27b Dynamic V3

Unsloth-овцы выпустили обновление для легендарного квена, где улучшили точность на 10% с помощью новой Dynamic V3. Что бы это не значило.

Забираем тут: https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Скачивайте, тестируйте и выкладывайте результаты в НАШ ЧАТ.

Всем быстрых токенов!

Как же я недооценивал NVFP4

Сегодня шарился по реддиту и наткнулся на пост, где кто-то выдавил из 5090 почти 200 т/с (там есть нюанс - Linux).

Я тоже попробовал Qwen 3.8 27b в формате NVFP4, вместо стандартных Q4/Q5/Q6, которые я обычно использовал, и был приятно удивлен.

Но так как у меня Windows, скорость генерации на 5090 при полном контексте (262к!) достигала 137 токенов в секунду. А качество модели на уровне Q5 (если что, это утверждает GPT, не я). К слову, на Q5_K_XL при 130к контекста у меня 80-90 токенов в секунду. Как бы чувствуется разница слегка.

В НАШЕМ ЧАТЕ в разделе Тесты LLM, я успел немного погонять модельку. Продолжу дальше тестировать, что за зверь этот ваш NVFP4.

А вы пробовали? Что думаете?

Приятной генерации и быстрых токенов! А я всё, выключаю.

Как Qwen 3.8 27b делал мне игру в OpenCode всю ночь!

Черт дернул меня на ночь глядя попробовать этот промт, думал за полчасика сделает. Ага. Запустил в Opencode в 23:00, утром проснулся, а он оборвался на пол пути своих рассуждений где-то в середине ночи. Пнул его чтобы продолжал, закончил в 13:00.

Запуская, я думал сейчас будет Forza Horizont новая часть, а получилось это. Управление не работает, сам ездит по заранее записанной траектории, и уже со старту дает боком.

Я не рискнул сказать ему чтобы он починил, потому что ждать еще сутки, пока он выдавит результат я не готов. Его длинные рассуждения уже раздражают. Это на уровне шуток про клода, когда пишешь ему "привет", а он в рассуждениях спалил весь 5 часовой лимит. Не думал что господин Квен перехватит эстефету.

У вас получилось решить проблему длинных рассуждений? Или вас это не напрягает?

Подписывайтесь на НАШ ЧАТ. А я всё, выключаю.

Qwen 3.8 27B - это параноик из мира LLM

Я просматривал reasoning Qwen 3.8 27B и заметил, что она постоянно сомневается в себе.

Она приходит к решению, затем начинает его перепроверять, рассматривает другие варианты, возвращается назад и снова всё проверяет.

Похоже, именно поэтому относительно небольшая 27B-модель способна показывать настолько хорошие результаты.

На xhigh reasoning effort это особенно заметно. Иногда кажется, что модель уже закончила рассуждать и сейчас даст финальный ответ, но затем она снова начинает всё перепроверять.

Это делает её медленнее и заставляет расходовать намного больше thinking-токенов, но для сложных задач такой подход может быть преимуществом.

Взял из реддита, ибо мне зашел такой вариант описания поведения модели 🙂

А вы что думаете?

Результат Qwen 3.8 27b в кванте BF16 от участника НАШЕГО ЧАТА. Это прям реально мощь!

Промт здесь.

Результат здесь, можете покрутить на своем ПК.

Присоединяйтесь к тестированию и кидайте свои результаты в раздел Тесты LLM.

Приятной генерации и быстрых токенов!

Qwen, ты кое-что забыл.

Кто еще ждет 35B? Как думаете, будет?

А ведь Qwen 3.8 27b хорош, чертяка!

Только посмотрите что он сделал мне за 45 минут в OpenCode, потратив 166 910 токенов, и это Q5_K_XL квант. Достойно.

Промт был такой:

Create a Super Mario clone in JavaScript as a single HTML page. Make the game engaging and the graphics as beautiful as possible.

И всё, я закинул ему задание и пошел смотреть новую серию Укрытия (2023).

Я прилепил html файл, чтобы вы сами попробовали.

Всем быстрых токенов. А я всё, выключаю.

Qwen 3.8 27b - Первый тест

Смотреть: https://youtu.be/Qqpc934SdNw

Все промты в НАШЕМ ЧАТЕ

Всем быстрых токенов и приятного просмотра!

Ну что, король в здании - Qwen 3.8 27b

Держите сразу GGUF от Unsloth:
https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Тестируйте и делитесь результатами в НАШ ЧАТ

Всем быстрых токенов и рабочих результатов!

🎵 MiniMax релизнули Music 3 - мощную модель для локальной генерации музыки

Вслед за видеогенератором, минимаксовцы дропнули веса для генератора музыки. Этого я точно не ожидал.

Для обычного запуска рекомендуется GPU примерно с 24+ ГБ VRAM. При меньшем объёме памяти предусмотрен CPU offload, а специальный режим позволяет запускать модель даже примерно на 8 ГБ VRAM, хотя скорость в таком случае будет заметно ниже.

Будет ли это достойная конкуренция для Ace Step 1.5?

Проверяйте и кидайте свои результаты в НАШ ЧАТ

Веса HF: https://huggingface.co/Comfy-Org/MiniMax-Music-3

Приятной генерации!