Юрий Петров | ai engineering

Сейчас все хайпуют на мозге мухи дрозофилы) Для тех, кто не в курсе: 3 сентября Google Research вместе с Janelia выложили MaleCNS, полную карту нервной системы дрозофилы. 166 тысяч нейронов, 125 миллионов связей, десять лет работы. Вот пост Google: https://research.google/blog/a-connectomics-milestone-mapping-the-complete-male-fruit-fly-brain/

Сразу скажу: это прям очень круто. И сейчас исследователи и просто энтузиасты пытаются обучить этот коннектом играть в Doom или Minecraft. Вот, например, репозиторий, где парень учит муху играть в Doom: https://github.com/nftechie/doomfly

Когда я начал копаться в этой теме и до меня наконец дошло, что там вообще происходит, я реально был поражен. Обязательно поизучайте этот репозиторий, там все открыто, автор честно описывает и что получилось, и что нет.

Но я хотел рассказать немного о другом. Есть ранее исследование о котором я еще читал пару лет назад и которое может прям раскачать всю эту тему и здорово помочь ребятам с мемными мухами. Это flyvis. Лаборатория Тураги, та же Janelia, статья в Nature еще в 2024-м: https://www.nature.com/articles/s41586-024-07939-3. Про них почему-то никто не пишет.
Что они сделали. Взяли коннектом зрительной системы мухи и, разрешили только менять силу связей. Задача одна: научиться видеть движение. А потом сравнили, что делают нейроны в модели и что делают настоящие нейроны у живой мухи под микроскопом. И оно сошлось, причем на данных из 26 разных экспериментальных работ. Вот это меня реально зацепило. Получается, карту мухи имеет смысл не просто запускать, а обучать под её родные задачи, и тогда есть шанс получить модель, которая ведёт себя как реальный мозг.
И второй проект, другого рода. Там пошли с другой стороны: сначала дали мухе тело. Нормальную физическую модель со всеми суставами И учат ее ходить и летать, а нейронные контроллеры потихоньку привязывают к реальным цепям из коннектома. Пока привязка частичная, понятно, что это еще дорабатывать и дорабатывать. Но муха там ходит как муха) И походку сверяют с видеозаписями живых. https://github.com/TuragaLab/flybody
Если сложить все вместе: с одной стороны, что коннектом можно запустить и подключить к чему угодно. С другой, flyvis показал, как подгонять параметры, чтобы модель вела себя как настоящий мозг, а flybody дал телу физику.

Если кто соберет это все воедино, то тут уже не до мемов будет ))

В целом это, конечно, потрясает. Я даже боюсь представить, к чему это приведет. Но изучать эту тему точно стоит.

GitHub переписал рантайм Copilot с TypeScript на Rust руками агентов
832 тысячи строк продакшен-кода и 469 тысяч строк тестов за май–август, 128 пулл-реквестов, курировал всё один инженер. Агенты читали код в 10 раз чаще, чем правили, а 96% промтов уходило в кеш.
https://github.blog/ai-and-ml/generative-ai/migrating-the-github-copilot-runtime-to-rust-using-copilot/

Любителям антигравити), тут гугл выкатил плагин для VSCode
https://antigravity.google/blog/antigravity-ide-extensions

Ну сейчас дело пойдёт 😁

Уф, закончил модуль по обучению модели для того, чтобы она отвечала как реальный ChatGPT.

И на самом деле это очень классно — смотреть, как отвечает модель, которую ты сам создал и обучил. При этом понимая, что лет 10 назад такое даже представить себе было трудно).

Я понимаю, что сейчас все крутые специалисты в ИИ, знают, как подключить Harness, использовать тот или иной скилл, меряться, у кого агент больше, у кого быстрее))

Но, ребят, это же основа основ. Понимая, как работает математика LLM, можно понять, как лучше с ней работать. Та магия, которая была раньше, улетучится, вы поймете, что это всего лишь чистая математика, не больше не меньше.

Понять как это все работает можно здесь ☺️ https://stepik.org/a/276236

В итоге в модуле:

✔️ Почему модель не отвечает?
✔️ Pretraining и Fine-tuning
✔️ Формат данных
✔️ Маска Loss
✔️ Контекст
✔️ Код. Реализация
✔️ Проверка знаний.

Добавлен сертификат о прохождении курса, если набрали необходимое количество баллов. 😊

К предыдущему посту: вот сайт, где собраны и удобно каталогизированы все лайфхаки от Бориса 😊
https://howborisusesclaudecode.ru/

Борис Черный, инженер Anthropic и создатель Claude Code, показывает, как работать с инструментом на практике. Историю и теорию почти не затрагивает.

Переведено, специально для себя))

Речь о том, почему освоение незнакомой кодовой базы занимает дни вместо недель.
Дальше про передачу контекста через файлы CLAUDE.md и команду /memory, про то, как принять из предложенной правки только часть строк, чем опасен Bash и почему агенту стоит выдать отдельный сервер для проверок.
Ближе к концу речь заходит о тех, кто применяет инструмент вне инженерных задач.

Всем обязательно к просмотру, кто использует Claude Code.

https://vkvideo.ru/video-193881724_456239157

Интересно конечно, имея неограниченный доступ к своим моделям, не могут обеспечить нормальный uptime😏

Еще один удар по американской гегемонии в области LLM.
Компания Alibaba выпустила Qwen 3.8.
На что можно обратить внимание:
1. Модель имеет 2,4 триллиона общих параметров.
2. Появилась поддержка режимов «Thinking» и «Non-Thinking» для гибкого контроля над балансом.
3. Это первая мультимодальная модель семейства, преодолевающая барьер в триллион параметров.
4. Модель задает новую планку в программировании и способна автономно работать над сложными проектами до 10 дней подряд.
5. Alibaba подтвердила, что, так же как и Kimi, модель скоро будет выпущена с открытыми весами.

Ознакомиться можно здесь https://chat.qwen.ai/

Moonshot AI, как и обещали, дропнули в open-source свою топовую нейронку.

https://huggingface.co/moonshotai/Kimi-K3

Что реально интересно:
1. Первая в мире открытая модель класса 3T — 2,8 триллиона параметров.
2. Революционная архитектура внимания. Модель построена на новых механизмах Kimi Delta Attention и Attention Residuals (надо будет на курсе изучить эти подходы).
3. Встроенный автономный агент для разработки.
4. Нативная мультимодальность + 1 миллион токенов. Модель из коробки понимает текст, изображения и видео в рамках единого контекстного окна

В итоге это полноценный автономный инженер-агент с триллионами параметров, нативным зрением, которая за раз может взять контекст огромного репозитория и которая теперь официально доступна сообществу.

😄 где то вместе грустят антропики и openai

Парень на Claude Opus 5 одним промтом сделал 3D-шутер, похожий на Call of Duty.
https://github.com/mshumer/Claude-of-Duty


Мда, похоже, скоро и игроделов ИИ заменит.
Вот, собственно, и сам промт:

I want you to build a first-person shooter at the level of the most recent Call of Duty games. It should be utterly perfect, visually beautiful, with every single thing done at AAA quality—from textures to physics to anything you could think of.

Fan out sub-agents and have sub-agents tackle each one individually so that the game is utterly perfect. You should /loop on each item and have a separate sub-agent check it visually to ensure it looks triple A. That separate sub-agent should be a really harsh critic, and if it doesn't look triple A, it should keep going.

Don't stop until each sub-agent is utterly wowed with the quality when compared with the actual Call of Duty game. It should literally compare them side by side blind and say which one looks better. Do this in ThreeJS. /loop until it's utterly perfect. Fan out sub-agents and ultracode.

Как собрать свою GPT с нуля и наконец понять, что у LLM внутри?
https://stepik.org/a/276236

Большинство работает с языковыми моделями как с чёрным ящиком: вызвал API - получил ответ. Но на собеседованиях и в реальных задачах всё чаще нужно понимать, как модель устроена под капотом:
• Как текст превращается в токены и векторы?
• Как на самом деле работает механизм внимания (attention)?
• Что происходит внутри трансформер-блока?
• Как модель обучается и начинает генерировать текст?
• Как из простых формул собирается работающая GPT?

Курс «Математика LLM - Создаём большую языковую модель своими руками проведёт вас от нуля до собственной мини-GPT. Каждый слой пишем и считаем сами, а не берём готовым из библиотеки.
Внутри:
✔️ GPT-трансформер с нуля на чистом Python, без «магии» готовых библиотек
✔️ 15 модулей: от мини-математики и Python до обучения и генерации
✔️ 108 уроков, 330 шагов и более 150 проверочных заданий
✔️ Токенизация, эмбеддинги, attention, Multi-Head, FFN, training loop
✔️ Математика каждого шага на простых примерах + рабочий код
✔️ Своя мини-GPT в финале - её можно запускать, дообучать и менять
✔️ Проверка знаний после каждого модуля
✔️ Ответы автора прямо в комментариях к шагам

🎁 Для подписчиков канала промокод SUBS на скидку 20%.

Встречайте крупное обновление курса - Математика LLM — Создаем Большую Языковую Модель своими руками

Добавил 14-ый модуль:
Улучшаем генерацию: sampling, температура, top-k и top-p,
где учим модель отвечать по-разному: вместо жадного argmax — сэмплирование, температура, top-k и top-p. Посчитаем, как всегда, всё ручками) и улучшим нашу модель.

- Проблема жадной генерации.
- Sampling, выбор следующего токена случайно.
- Параметр T (температура), насколько смелой будет модель.
- Параметр top-k, самые вероятные токены.
- Параметр top-p, сортировка токенов по убыванию вероятности.

Это важный шаг к реализации обучения, где мы сделаем реальный ChatGPT.

🎁 Для подписчиков канала промокод SUBS на скидку 20%.

Вышел Opus 5, говорят дешевле чем Fable, но ничем ему не уступает.

Юрий Петров | ai engineering pinned «Всем привет, встречайте обновление курса «Математика LLM — Создаем Большую Языковую Модель своими руками» , где: ✅ Полностью пересчитал на бумажке и через NumPy все расчёты, тензоры и матрицы. ✅ Переработал код, теперь это не просто простыня непонятного…»

Всем привет, встречайте обновление курса «Математика LLM — Создаем Большую Языковую Модель своими руками» , где:

✅ Полностью пересчитал на бумажке и через NumPy все расчёты, тензоры и матрицы.

✅ Переработал код, теперь это не просто простыня непонятного кода, а разбил на логичные шаги.

✅ Добавил ко всем модулям проверочные задания.

✅ Добавил картинки в сложные для понимания шаги.

Также, полностью понял и разобрался, как семплировать модель и обучать, чтобы она отвечала как ChatGPT.

На подходе модули:

15. Улучшаем генерацию: sampling
16. Fine-tuning: учим модель отвечать как ChatGPT

Ну и конечно промокод для подписчиков на скидку 20%:  SUBS

P.S. благодарю ребят, которые указали мне на ошибки в расчётах 🤝

Не долго музыка играла...

Всем привет, хотите написать свой Claude Code и понять, как он работает?

Тогда для вас хорошая новость, я доделал полностью курс:
Создание AI-агентов на Go: Eino (LangGraph), ReAct, RAG, MCP.

Это практический курс по разработке AI-агентов на Go. Где мы собираем агента Mini Code (аналог Claude Code) своими руками: от первого вызова языковой модели до рассуждающего ассистента, который пользуется инструментами, сам пишет код, помнит контекст диалога и ищет ответы прямо в коде проекта.
Фреймворк курса, Eino от CloudWeGo, это нативный Go-фреймворк для LLM-приложений с графовой оркестрацией, готовым ReAct-агентом, инструментами, состоянием и interrupt/resume.

Ну и конечно, скидка моим подписчикам 30% с промокодом SUBS ☺️

В новом выпуске Гостей из IT обсуждаем, что сегодня значит «качественный код», как ИИ-агенты помогают его проверять и почему красивый код — не всегда качественный. В гостях — Я и Евгений Антонов из Яндекса.

🎧 Слушайте подкаст на платформах:
Apple Podcasts
Яндекс Музыка
VK
Звук

ReAct, tool-calling, RAG, эмбеддинги, оркестрация графов, Interrupt/Resume, Retriever, Indexer, Callbacks.

Знакомые слова? Значит, вы в теме. Не все? Тогда вы пока не AI-инженер. Мир сейчас меняется очень быстро: фреймворки и языки уходят, а на первый план выходят инженеры, которые умеют применять ИИ для решения технически сложных задач.

Главное, что стоит усвоить: агент это не цикл for и пара if. Это сложная многоступенчатая структура со сложным циклом выполнения. Кто говорит, что всё просто, или просто не знает и не понимает агентные системы, или просто вводит в заблуждение.

Недавно Виталий Зарубин очень точно описал эту боль (https://t.me/aurora_dev/1795). И он прав на 100%.

С недавних пор я полностью перехожу на агентную разработку, и у нас уже есть свои внутренние продукты.

Flexar это мультиагентная RAG-платформа: помогает управлять бизнес-процессами в контуре компании.
CodeBab.ai это агент-оркестратор: он управляет агентами, которые проверяют наш код, анализируют лицензии в проектах, собирают отчёты и так далее.
И это только начало.

Параллельно я закончил курс по AI-агентам на Go + Eino (аналог LangGraph для Go). Скоро опубликую на Stepik.
На курсе я показываю, как реально строить сложные агентные системы, а не как обернуть всё в один промпт.
А самая фишка в том, что мы соберём свой аналог Claude Code: терминального агента-кодера, который читает ваш проект, объясняет и сам правит код.

Так что Flutter станет меньше, но я буду держать в курсе развития AI-инженерии.