MrGips • Про LLM

"Отупление" хайповой модели GPT-6 Astra подтвердили сами OpenAI-евцы

Всё LLM сообщество шумит постами на реддите про понижение умственных способностей новой модели, буквально спустя несколько дней после бомбовых бенчмарков и тестов.

Для тех кто давно в теме, это не удивительно. Испокон веков крутилку крутости прикручивали спустя время для экономии ресурсов. Ведь основные сливки были сняты, баллы уважения заработаны, и можно готовиться к прогреву следующей модели. Но для новичков это прям боль.

Но если хочешь прикоснуться к прекрасной GPT-6 ASTRA без покупки подписки, то есть сервис, где со старту дают 1$ на тест всех популярных нейронок:
➡️ Попробовать CLODEx

Приятной генерации!

MrGips • Про LLM / НАШ ЧАТ

Протестировал DeepSeek V4.1 Flash на аквариуме

Пока готовил новое видео, решил закинуть промт аквариума в DeepSeek, который в Opencode. Кстати промт находится в НАШЕМ ЧАТЕ в разделе Промты.

И что мы имеем:
Потрачено 220к токенов. Списало 1.21$. Дорого чи не? Я не шарю, это буквально мой второй раз пользования по АПИ.

Всем дешевых токенов!

Небольшое сравнение NInfer: MTP vs DFlash2 🚀

Вчера забыл уточнить что тестил модель с ускорителем MTP. А в этом посте уже попробовал с DFlash2. Кстати, что MTP, что DFlash2, все эти ускорялки вшиты в модель, ничего отдельно качать не надо. Даже vision внутри. Ну не кайф ли.

И так начнем, модель: Qwen 3.8 27B NVFP4

KV-кэш: FP8, concurrency 2, vision включён.

🔹 MTP, draft tokens: 3
• Средняя генерация: ~143 ток/с
• Типичная скорость: 120–175 ток/с
• Acceptance rate: ~64%
• Контекст: 220k
• Cached TTFT: ~0,37 с

🔸 DFlash2, draft tokens: 7
• Средняя генерация: ~166 ток/с
• Длинная генерация: 25 893 токена со скоростью 242 ток/с
• На отдельных интервалах: до ~290 ток/с
• Acceptance rate: ~38%
• Контекст: 160k
• Медианный TTFT: ~0,62 с

Итог от электронной головы: DFlash2 оказался примерно на 16% быстрее в среднем и особенно хорошо разгоняется на длинных ответах. MTP принимает больше draft-токенов и позволяет держать более широкий контекст — 220k против 160k.

Это не строгий синтетический бенчмарк. В реальной работе Claude Desktop с инструментами DFlash2 выглядит быстрее, а MTP — универсальнее для очень длинного контекста.

Быть может вы заметили, нет цифр по префиллу. Вот они:
MTP: около 5 110 ток/с
DFlash2: около 3 536 ток/с

MTP быстрее по prefill примерно на 45%

По обработке входного контекста MTP заметно быстрее: ~5,1k против ~3,5k ток/с у DFlash2. Поэтому MTP лучше при частой загрузке нового большого контекста, а DFlash2 выигрывает на длинной генерации ответа: ~166 против ~143 ток/с в среднем.

Итог от меня: тут нужно выбрать что тебе важнее контекст или скорость? Либо ты жертвуешь контекстом и префиллом и получаешь на 15-20% больше скорости декода. Либо чувствуешь себя как босс с длинным контекстом и молниеносным префиллом и практически не чувствуешь снижение скорости.

Приятной генерации!

Безумная сборка для 5090 - скорость доходила до 175 т/с

Наконец-то я чуть пощупал вот это чудо:
https://huggingface.co/neroued/Qwen3.8-27B-nvfp4-NInfer

А все началось с этого поста на Reddit, после которого я загорелся проверить действительно ли такие цифры можно выдавить или снова кликбэйт.

И каково мое было удивление, мало того что скорость генерации отправляет в космос, так еще и префилл достигает безумных 7 660 ток/с

Но я слишком мало потестил, буквально на пару промтах, в прикрепленном видео это один из них.

Остальные тесты в НАШЕМ ЧАТЕ

Держу в курсе и продолжаю наблюдение. Всем быстрых токенов!

НОВОЕ ВИДЕО! GPT-6 Astra vs Qwen 3.8 27B - Тест в Blender с реф. изображением

Я был в шоке как выстрелило предыдущее видео. Люди в комментах просили сделать продолжение с референсным изображением. Мне и самому было интересно что получится.

Смотреть тут: https://www.youtube.com/watch?v=jLcttwEvopg

CLODEx - сервис где собраны все топовые нейронки в одном API:
➡️ Попробовать CLODEx
Бонус при регистрации - $1 на тесты.

Приятного просмотра!

💳Как платить за Spotify, Cursor, ChatGPT и другие любимые подписки?…

Если ты читаешь это, скорее всего, у тебя уже была проблема: надо оплатить подписку или купить иностранный софт, а российскую карту не принимают.

Mirocard решает это за пару минут:

Это сервис, где можно выпустить виртуальную карту, пополнить рублями через СБП и платить за:

- Midjourney
- ChatGPT
- Figma
- ElevenLabs
- Claude
- Netflix
- Spotify и еще сотни подписок...

По промокоду “PROCOMFY” выпуск карты со скидкой 50%

Оформление из любой точки мира за пару кликов!⚡️

ОТКРЫТЬ КАРТУ

Смотрите какую имбу нашел для MiniMax H3

Это не апскейлер, это Lora на детализацию. Судя по примерочным видео внутри репо, то это просто головокружительно.

https://huggingface.co/Alissonerdx/Minimax-H3-ComfyUI

Ворк внутри, но я еще не тестил.

Нужно попробовать реставрировать классику ютуба «Дверь мне запили».

Приятной генерации!

Ого, не ожидал таких цифр здесь.

Спасибо всем кто подписался, особенно тем, кто остался. Работаем!

Qwen 3.8 27b отказался портировать игру из-за авторских прав.

Оказывается это не я криворукий, а Квентин слишком правильный.

Ладно, люди добрые, какого автора модель вы бы использовали, чтобы она была безотказна?

Похоже рождается новый тест для локальных LLM - портировать игру из .jar файла

Задача была сделать полностью идентичный клон Gravity Defied. То есть, взять готовое и просто адаптировать под браузер в HTML

Qwen 3.8 27b в кванте Q5 не смог портировать эту игру. Верней может, но полностью переписывает графику, физику и управление.

На данный момент с задачей справилась только Astra, результат в предыдущем посте.

Поэтому буду переодически тестить разные модели на этом тесте. Сам .jar файл прикреплю в комменты, малоли захотите протестить и выложить результат в НАШ ЧАТ

Приятной генерации!

Кто помнит эту легенду?

Сегодня внезапно захотелось подкинуть ностальгии в глаз и портировать Gravity Defied из .jar в .html. Теперь вместо работы пытаюсь пройти первый уровень. Расстерял весь скил.

Весь процесс полностью оформил GPT-6 Astra.

Чуть позже попробую это же сделать Qwen'ом 3.8 27b. Надеюсь старик не подведет.

Прикреплю игру в комменты, а вы подписывайтесь на НАШ ЧАТ.

А я всё, выключаю!

Думаешь покупать видеокарту или ждешь пока подешевеют?

Можешь не ждать, японская крупная сеть комплектующих, предупреждает обновлять ПеКашники пока еще можете.

Скоро снова взвинтят цены. Храни ИИ.

НАШ ЧАТ где люди уже понакупляли себе видеокарты и довольны.

7 сентября - День который я буду отмечать ежегодно.

Это можно сказать День монетизации. Потому что у меня заказали рекламу. Да не просто рекламу, а рекламу по теме. Спасибо что не казик.

Никогда бы не подумал что мои монотонные разговоры в микрофон про каких-то хомяков и аквариумы принесет не только счета за электроэнергию, а еще и деньгу.

Наконец-то я трачу драгоценные киловатты на свое хобби с пользой.

Кстати, загляните в тг-канал СLODEX и в Чат ВАЙБКОДЕРОВ.

А так же, подписывайтесь на НАШ LLMповый ЧАТ

А я, пойду закину деньгу за коммуналку, ведь 5090 сама себя не оплатит. Выключаю!

💀 Локалка закрывает многое. Но не всё.

Гоняешь LLM на своём железе — отлично. Но иногда попадается сложный баг, запутанная задача или код, на котором модель начинает ходить по кругу.

В такие моменты нужна модель посильнее. А не подписка за $100 ради нескольких запросов в месяц.

💎 CLODEx— для таких случаев. Оставляешь локалку для повседневных задач, а мощные облачные модели подключаешь по необходимости. Платишь за использованные токены, а не за месяц доступа.

🪙 Цены за 1 млн токенов:

> 6 ASTRA — $0.50
> 5.6 SOL — $0.25
> OPUS 5 — $0.85
> GEMINI-3.7 — $0.06
> KIMI-K3 — $0.15

Никто не предлагает сносить локалку. Просто полезно иметь запасной вариант, который не требует ежемесячного платежа.

👑 При регистрации — $1 на тесты.

➡️ Попробовать CLODEx

GPT-6 Astra разрывает тренды

Ютуб даже организовал праздничные салюты в честь видео.

Спасибо кто продвигал своим просмотром, лайком и комментом.

Не забывайте присоединиться в НАШ ЧАТ

А всё, выключаю!

GPT-6 Astra vs Qwen 3.8 27b - Тест в Blender

Два видео за два дня. Сам в шоке.

Но вы только посмотрите что вытроряет эта GPT-6 в Блендере.

Видео смотреть: https://youtu.be/fhM3V6Uafzk

Как говорится Астра Ла Виста, антропик.

Подписывайтесь на НАШ ЧАТ, тестируйте GPT и скидывайте результаты.

Приятной генерации!

Немного пощупал Unsloth Desktop.

И хочу сказать что это LM Studio на максималках.

Видео: https://youtu.be/zbg_Or9e-5I

Подписывайтесь на НАШ ЧАТ, там промты и многое другое!

Приятной генерации!

Всё, MrKurtka Хуанг купил Hugging Face🤗 за $13 млдр.

Мы всем чатом поздравляем с покупкой!

Apple Watch в одном html файле.

Накатил Deepseek Harness и подключил к нему Unsloth Desktop в режиме api с моделью Qwen 3.8 27b с думалкой xhigh.

Короткий промт: Сделай интерфейс Apple Watch в одном html

И через 6 минут вполне рабочие часы. Блин, квен красава, радует. Пробуйте тоже и выкладывайте свои результаты в НАШ ЧАТ

А я выложу свои часы в коменты под постом.