Бодрый кодер

У меня уже наверное три года электронные или больше. Неужели скоро настанет время, когда физические документы с собой можно не брать.

Новая Qwen3.8-Flash-Next с Qwen 4 архитектурой очень интересная. Alibaba просто решила захватить весь рынок локального запуска. Модель содержит 180 млрд параметров и магия заключается в том, что 51 милиард можно выгрузить на SSD без потери скорости и качества.

Интересно, а кто-то купил себе подписку на Netflix, что бы раньше увидеть трейлер новой GTA?

Казалось, что можно еще придумать в проекте, который стибильно парсит данные из Дзен Мани, что бы анализировать деньги.

Оказывается много, но сейчас сделал прям крутую фичу - mcp, с поддержкой новой спецификации. Получается не нужна не какая Grafana - делаю запрос, а в ответ получаю графики, на основе моих данных, которые тут же в таблице могу проверить. MCP App это прям вещь.

Кому надо анализировать свои финансы в ленивом режиме - https://github.com/nemirlev/zenmoney-export

Похоже, гонка персональных устройств для локального ИИ началась всерьёз.

Apple сегодня представила M5 Ultra - первый четырёхкристальный чип компании. До 36 ядер CPU, 80 ядер GPU, 512 ГБ унифицированной памяти и пропускная способность 1,2 ТБ/с. На 50% больше, чем у M3 Ultra. Mac Studio с таким чипом начинается с $5499.

А буквально накануне Xiaomi показала прототип AI Cube. Внутри сразу три собственных чипа: Xring O3, O100 и D100. До 160 ГБ памяти, локальный запуск связки моделей 120B и 3B, потребление до 150 Вт. Ускоритель O100 получил пропускную способность 1,22 ТБ/с и в демонстрации выдавал до 330 токенов в секунду на MiMo 3B.

Самое забавное - на слайдах у Apple и Xiaomi почти одинаковая цифра: 1,2 ТБ/с.

Подозреваю, Xiaomi будет заметно дешевле Apple (ставлю что стоимость будет не больше 300к за 128 памяти. Им надо со Spark конкурировать) - если эта коробочка вообще доберётся до розницы. Пока это инженерный прототип без цены и даты начала продаж, а коммерческое применение O100 и D100 обещают только в 2027 году.

И главное: проблема локальных LLM постепенно становится не в том, как их запустить. Память и пропускная способность это уже позволяют. Проблема - сделать модель действительно полезной: дать ей нормальные инструменты, контекст, доступ к файлам и сервисам и заставить надёжно выполнять работу, а не просто очень быстро генерировать текст.

В общем, 1,2 ТБ/с у нас уже есть (осталось заплатить 1.5-2 млн за версию на 512). Теперь бы придумать, что полезного гонять через них каждый день.

Статья в топ 3 суток попала. Приятно.

А сегодня поделюсь другой статьей, уже не своей. Очень интересная история развития ИИ (перевод выступления Ричарда Кэмпбелла).

https://habr.com/ru/articles/1072298/

Давно не писал статей на Хабре - решил исправиться :)

Написал про свой опыт с AI-агентами, локальными моделями, Hermes и про то, почему в какой-то момент пришлось перестать ждать магии и вернуться к нормальной инженерии.

+ к карме, статье и комментарии, как всегда, приветствуются 🙌

https://habr.com/ru/articles/1072770/

Я только сейчас осознал, что ChatGPT вышла почти 4 года назад и очень сильно изменила мир. Я почему-то был уверен что всего два года назад, хотя я использовал модель уже 1-го или 2-го декабря, прям в первую волну.

Мне очень нравится дизайн в Claude. Но блин, потом что Codex что Claude натягивает на Astro или другой Фреймворк - так, как будто это самая сложная инженерная задача. Ты можешь сделать классный дизайн за 10 минут, а потом 8 часов переносить, закрыва глаза на качество кода полностью.

Юмор в тему

Новость дня.

OpenAI приостановила обучение новых моделей ИИ из-за киберрисков, сообщила компания.

Странное решение, вместо того что бы вместе с моделями реализовать инструменты, которые эти киберриски позволит купировать.

Только сейчас заметил, что описание моего канала немного устарело, уже не в ПСБ. Теперь актуальное 🙂

Я потратил три часа, пытаясь исправить баг на своём сайте: курсор не менялся при наведении на ссылку. Я был настолько упорен, что проверил проблему в другом браузере только через три часа, а затем догадался проверить другие сайты. Оказалось, это баг Safari 27.

Выдает 10 токенов в секунду, не быстро, но на самом деле терпимо. Особенно для асинхронных задач (M4 Max, 128 Гб).

В целом количество скачиваний за два часа показывает сколько реально людей пользуется локальными моделями.

Вышла Qwen. Тестить буду ночью.

А самый кайф - миллион контекста. Я думаю уже год максимум и маленькие модели будут полностью соответствовать текущим большим - что за глаза для любых задач.

Всех с пятницей! #пятничныйюмор

В Hermes Agent меня бесит больше всего, что он на любой чих - пух вызывает питон. Ну то есть в задаче ему достаточно прочитать пару файлов, грепнуть их, а он вызывает питон. При этом в телеге этот вызов очень сильно сокращяется и я даже не понимаю, а че он пытается сделать.