johenews

Если вы любите локальные модели как люблю их я то наверное тоже знаете что сейчас по факту есть две наиболее интересные - qwen3.8-28b и qwen flash next

Интересный пост есть про сравнение Flash Next IQ4_XS и 27B FP8

Тесты были в vLLM и radiance, при этом Flash Next превосходство в большинстве академических и логических задач

В таблице результатов модель Flash Next IQ4_XS обогнала 27B FP8 по метрикам MMLU-Pro (83.8% против 75.0%), GPQA Diamond (42.5% против 27.5%), GSM8K (97.5% против 90.0%) и немецкому MGSM (92.5% против 90.0%). Единственное равенство зафиксировано в тесте IFEval (89.6% у обеих).

Скоростные характеристики сильно различаются: FP8 27B выполнил быстрый тест на 250 примеров за 36 минут 27 секунд, тогда как Flash Next потребовала более двух часов

тесты проводились на 64 ГБ DDR5

Жаль что нет тестов в агентской разработке, все эти тесты академических задач, кажутся не особо релевантными

https://www.reddit.com/r/LocalLLaMA/comments/1wpp28m/did_anyone_do_a_full_bench_of_eg_qwen_flash_next/

Ребят, помните, я в видео упоминал ClaudeHub? Оставлю информацию здесь, чтобы всё было в одном месте.

Через ClaudeHub можно пользоваться топовыми ИИ-моделями по цене от $0,40 за 1 млн токенов. Сервис работает без VPN, баланс пополняется российскими картами.

Разработчикам будет особенно полезен доступ по API. ClaudeHub подключается к инструментам, в которых можно менять Base URL. Меняете адрес API и ключ в настройках, после чего можете писать и разбирать код, искать ошибки, делать рефакторинг, тесты и документацию.

Подписки нет, оплачивается только фактическое использование. Пополнить баланс можно от 50 ₽. Если сервис вам не подойдёт, ClaudeHub вернёт неиспользованный остаток.

Сайт
Бот @claudehub_bot для быстрого старта
Поддержка в телеграм: @claudehub_support

Цена на золото за последние 20 лет выросла примерно раз в пять. Медь процентов на 30. Серебро раза в три.

А вот цена бриллиантов уменьшилась примерно в десять раз. Это и из-за того, что сейчас можно сделать искуственный бриллиант такого качества, что его невероятно сложно отличить от природного и, возможно, еще от того что люди начали понемногу умнеть. Бриллиант - буквально ерунда, блестяшка которая ничем не примечательна. Через еще пару десятилетий цена у них будет как у стеклянных бус, которые продавались индейцам.

И тут речь про то, что научились выращивать настоящие алмазы. Речь не про стекло или искуственные штуки типа фианита.

Так что если вдруг вы думаете инвестировать в камни, то это прям очень плохая затея.

PLURIBUS

Если вдруг ищете интересный сериал (а их сейчас не то чтобы прям много). То рекомендую вот этот. Это сериал Винса Гиллигана, создателя Breaking Bad и соавтора Better Call Saul. Breaking Bad мне вообще кажется сериал топ два эвер.

Тут довольно интересная завязка которая занимает всю первую серию. Не хочется спойлерить, но хочется все-таки рассказать о чем сериал. Короч, человечество получает из космоса сигнал, расшифровывает его и потом на основе него делает вакцину, от нее все заражаются и становятся единым организмом.

А главная героиня оказывается одной из немногих, кто не поддался этому состоянию.

Apple описывает сериал как историю, где «самый несчастный человек на Земле должен спасти мир от счастья».

Каждый зараженный знает все, что знают все остальные. При это они не хотят навредить главной героине, а хотят мирно с ней договориться подключиться с ним.

Ощущается очень интересным.

Компания Jetbrains росла довольно серьезными темпами

в 2018 чистая годовая выручка компании составляла около $270 млн
В 2019 было уже 400
2020 - оборот вырос еще на 11 процентов
2021 - рост еще на 25 процентов
И так компания росла до 2025. В 2025 выручка оценивалась от $500 млн до $600 млн. (Компания не публичная поэтому цифры не раскрываются)

Но даже интересно а сможет ли компания держать эту планку. Такое ощущение, что скорей всего нет. Так как компания зарабатывала деньги на IDE, которые в 2026 году уже вообще мало кому нужны.

Я, конечно, не думаю, что компания совсем помрет, явно что-то придумают. Просто удивительно как вещь которая так нужна была всем на протяжении очень длительного времени в один момент потеряла свою ценность.

Прикольный бенч который сравнивает qwen-3.8max / qwen-3.8 27b / qwen 3.8 flash next

Это сильно разные модели

Qwen-3.8max - 2,4 триллиона параметров
Qwen3.8-Flash-Next - 125 миллиардов параметров
Qwen 3.8 27b - 27 миллиардов параметров

Но в некоторых задачах, например в написании кода количество параметров уже не так сильно решает
И есть ощущение что в этой задаче qwen-3.8 27b справился лучше всех (хотя можете и сами посмотреть)

Некоторые люди все еще говорят о том что локальным моделям далеко до больших моделей. Но я уже давненько не вижу разницы

Вот сейчас для того чтобы запускать LLM мы все очень сильно упираемся в видеопамять

Если хоть какой-то слой модели вываливается в оперативку то скорость генерации токенов падает разительно

И вот один парень в реддите с ником sadnessdevil показал как загрузить большую часть KV-кэша модели Qwen3.8-Flash-Next в оперативную память (RAM) с минимальной потерей скорости декодирования

Это стало возможным благодаря специфической архитектуре модели, которая позволяет использовать квантованные веса, едва помещающиеся в видеопамять GPU, и при этом работать с контекстом длиной до 1 миллиона токенов без необходимости квантовать сам кэш. 

Ключевой механизм работы заключается в том, что только 12 из 48 слоев модели используют традиционный KV-кэш, тогда как остальные 36 являются слоями gated delta-net с фиксированным рекуррентным состоянием, не растущим с длиной контекста

Чел получает 80 токенов в сек на довольно скромном железе

https://www.reddit.com/r/LocalLLaMA/comments/1whx5xi/you_can_offload_most_of_qwen38flashnexts_kv_cache/

Чувак который работал в T-банк а потом уехал и стал работать с тиньковым с его новым проектом PLATA записал рилс. В рилсе он просто рассказал о том, что условия работы в тбанк были лучше чем условия работы в PLATA. Что и офис был значительно лучше и плюшек было больше.

После этого рилса его вызвали и начали ему угрожать. А сам Тиньков написал о том, что этот айтишник не учел главное - что там есть СВОБОДА

После этого через неделю этого программиста уволили. Вот такая вот свобода у олега тинькова

Уже несколько раз я слышал доводы от программистов о том, что они хотят чтобы было все как раньше. Они не хотят использовать ИИ и остальным не советуют. Они не хотят опенсорсить свой код так как на нем будет учиться ИИ, который в дальнейшем лишит их работы. (уже можете не волноваться, он пишет код лучше чем вы).

Читал недавно, что айтишники стали меньше зарабатывать, и что сейчас даже репетиторы зарабатывают больше среднего айтишника. И программистов и правда лишат работы. Уже не будет ситуации как в 2017 году, когда программист был царь во дворца, вокруг которого все бегали.

А тут как бы еще не все кредит выплатили за свой курс на скилфектори, который обещал сделать из человека пайтон программиста с зарплатой в 300к.

Странно идти в профессию только из-за высокой зарплаты. И даже хорошо, что из профессии уйдут все эти волчары назарова. В тот момент когда я хотел быть программистом эта профессия совершенно не ассоциировалась с высокими заработками, а на башорге в те времена программист это было бедное существо, которое ходило всю жизнь в одном свитере.

Прикольная штука. Тестировщик REST запросов но только консольный.

Совсем давно я использовал postman, потом перешел на PAW, а потом начал использовать insomnia на линуксе и rapidapi на маке

Но все вышеперечисленное это гуишное, а эта штука работает в консоле. Причем есть все что надо и коллекции и переключение между энвайрентментами

https://github.com/wilfredinni/noodle

Запустить модель локально можно в разном кванте. И часто можно увидеть что-то вроде "q4 сохраняет 99% качества ответа при этом меньше в 6 раз". Вот я никогда не понимал этой вот первой цифры. Что вообзе означает эти 99 процентов? Моя задача то будет решаться или нет?

Пользователь с M5 Max и 128 ГБ оперативной памяти столкнулся с тем что модель Qwen-Next в задачах на программирование работает хуже, чем Qwen 3.8 27b, несмотря на общие хвалебные отзывы в сообществе. Проблема оказалась в неправильном сравнении квантизаций: автор запускал 27b в формате q8, а MTPLX позволял использовать для Qwen-Next только q4.

Qwen-Next использует экспериментальную архитектуру flash-next, которая отличается от предыдущих версий 3.5 и 3.6. Ключевая причина отставания в производительности на сложных задачах — незрелость backend-инференса. У Qwen 3.8 27b за полгода работы сообщества накоплен огромный оптимизационный опыт, тогда как для новой архитектуры еще нет стабильных решений. В MoE-моделях квантизация KV-кеша сильно бьет по качеству, поэтому рекомендуется использовать f16 cache или нативный Q5 с offload на диск для достижения лучших результатов.

Прямое сравнение моделей в квантах (q8 против dynamic q4) дает искаженную картину

Интересная новость про ученых которые говорят про опасность ИИ

"Лауреаты Филдсовской премии предупредили об опасности ИИ для науки

Текст их открытого письма опубликовал портал Math and AI.

Ученые отметили, что за последние месяцы новости об успехах нейросетей в решении сложных математических задач стали предметом обсуждения и за пределами научного сообщества. При этом они подчеркнули, что быстрое решение задач не оставляет времени на выделение новых методов и создает проблемы с авторством и плагиатом."

Переводим с ученого языка на русский язык.

ИИ слишком быстро делает открытия, но мы пока не разобрались кто будет получать бабло за эти открытия и это огромная опасность.

У Люксембурга который является монархией - 8.88 баллов им правит Великий герцог Гийом V. Давайте притворимся и сделаем вид, что это и правда страна. Король тут может распустить парламент и уволить любого члена правительства. Великий герцог может издавать нормативные меры, которые могут отступать от существующих законов. Обычно нормальные страны не могут издавать законы которые противоречили бы другим имеющимся законам. Ну а король люксембурга если что может.

У Нидерландов у которых есть король которого зовут Виллем-Александр есть 9 баллов по шкале демократичности. Нидерланды в отличие от Дании довольно долго сопротивлялись фашистам - целых пять дней. Король в нидерландах неприкосновенен.

У Норвегии 9.81 балл по шкале демократии, надеемся про это не узнает ее король Хокон VIII который буквально 28 августа 2026 взошел на престол. Украинский Бандера позавидовал бы Квислингу. Статья 5 конституции "Личность Короля не может подвергаться осуждению или обвинению"

Швеция набрала 9.39 балла, передаем привет королю карлу 16му и всем его подданым. (хотя давайте быть честным. В швеции король и правда не имеет власти. И как и в Японии их император они почти полностью лишены политической власти. Фактически в Швеции и Японии они имеют исключительно церемониальные функции. Но все-таки одна вещь есть - опять же король сохраняет юридическую неприкосновенность от уголовного преследования. В Швеции король может пойти в детский садик, убить там всех детей и по законодательству швеции не нести никакой уголовной ответственности. И это будет законно.

Испания набрала 8.13 балла, Король Фелипе VI набирает подданых целыми лодками, подданные после этого воруют телефоны как не в себя у немногочисленных белых, которые остались в этом королевстве. Король неприкосновенен и тоже не несет никакой ответственности. В Испании у короля вообще больше всего полномочий.

Есть такой ржачный рейтинг который называется "Индекс демократии". В этом индексе страны которые сортируются по демократичности. Максимальный балл - 10

У России - 2.03 балла.

У Уркаины где просрочился президент два года назад - 4.9 балла. Я думаю что клоуну пришлось отдать пару чемоданов кокаина ради этого.

У Бельгии - 7.64 балла. У Бельгии которая является монархией 7.64 балла по индексу демократии. Там правит Король Филипп. Напомним, что в этой стране буквально недавно закрылись человеческие зоопарки. В которых выставляли негров которых привезли из колоний. В конституции бельгии есть 88 статья там указано, что монарх неприкосновенный. Он буквально может подойти к любому человеку, убить его и он не будет виновен по законам этой недостраны.

У Великобритании которая является монархией - 8.34 балла, там недавно закончилась очередная королева, с чем мы поздравляем всех британцев. Там вы не сможете выбрать короля. И не сможете выбирать премьер-министра, так как его утверждает король. Но зато вы можете выбрать кандидата который станет депутатом палаты общин, который ни на что не влияет.

У Дании которая является монархией - 9.28 балла, там правит Король Фредерик X. Дания это очень смелая страна. Во второй мировой войне Дания смогла продержаться два часа и десять минут, а потом сложила оружие. Конституция Дании буквально говорит о том, что монарх обладает высшей властью. И он так же неприкосновенен. "Король не несёт ответственности; его личность священна." То есть монарх не может быть привлечён к ответственности или осуждён судом.

В метро барселоны прорыв. С 2027 года там можно будет оплачивать проезд банковской картой.

Это прорыв. Пока метро во всем мире используют билетики (так же как и барселона до 2027 года) жители барселоны смогут использовать банковскую карту.

Фактически, проблем в метро барселоны практически не останется. Ну, надо будет только крыс выгнать и пристегивать к себе свой айфон наручниками чтобы у тебя его не вырвали.

С другой стороны мы должны помнить, что Испания это конституционная монархия с поддаными вместо граждан. И от такой отсталой страны странно было бы ждать чего-то большего.

С локальными моделями у меня есть ощущение что я живу в каком-то фантастическом будущем. Сейчас можно решать такие вопросики с которыми раньше просто ничего невозможно было поделать

Вот смотрите. У меня есть опенсорсный 3д-принтер. В самом принтере есть три железяки с мозгами

• raspberry pi (главный компьютер принтера, на нем работает веб интерфейс, основная логика управления, конфигурация принтера)
• плата octopus (главная плата управления принтеров которая управляет нагревателями, моторами, вентиляторами, концевиками, датчиками)
• платка для индукционного датчика (датчик который строит карту стола и определяет z ось)

Так вот у каждой платы есть прошивка. И вот платка для индукционного датчика - китайская платка, которая разработана китайцами. И так получилось что прошивка для mcu и для октопуса ушли вперед своими версиями. И я обновился до новых версий. А на плате для индукционного датчика уже ничего не работает.

И что надо было бы делать раньше? Наверное отказываться на предыдущую версию.

Что можно сделать сейчас? Говорим своей LLM - посмотри и поправь прошивку. Она смотрит и выдает готовый код. Самое интересное что этот код работает.

Написали мне из одного стартапа, говорят: "Хотим купить у тебя рекламу".

Сам стартап продает токены от наиболее популярных моделей. Причем, если вы знаете, то купить антропиковский токены не особо просто. Российские аккаунты блочат, ну и сложно оплатить в долларах.

А тут нам предлагают оплату в рублях. А самое главное написано что это в 25 раз дешевле.

Сижу и думаю - ух ничего себе. Да такое и прорекламировать не жалко. Но решил уточнить а почему же такая низкая цена. Но по цене мне ответили, что это коммерческая тайна.

Странно, думаю, но ладно. Решил потестировать.

Потестировал и оказалось. что мой агент показывает что он потратил 1.5млн токенов, а у них в сервисе мне показывается что я потратил 10млн токенов. Я, конечно, не уверен, но кажется это и есть коммерческая тайна дорогих токенов.