RoboFuture

YouTube | RuTube | Telegram

Недавно я писал про участие в ERC3 от Рината @llm_under_hood. Это соревнование между AI-агентами, которые управляют различными организациями. Мы с агентом заняли там 7-ое место

Мне очень нравится этот формат соревнований: тебя не оценивают по красивой презе или умению влезть в лимиты организаторов. Важно только решить задачу, остальное делай как хочешь!

По итогам провел открытый вебинар с live-coding сессией, где показал весь процесс создания агента с нуля

Что внутри (~1.5 часа):

- Как устроено соревнование ERC3
- Какой был план участия и что получилось
- Разбор реальных задач
- Архитектура: ванильный ReAct на LangGraph
- Live-coding в Cursor: создаем агента с нуля, запускаем цикл самоулучшения
- Переключаем агента на GigaChat и сравниваем с GPT-5.2
- Итоги: wins & fails
- Ответы на вопросы

По итогу прямо во время вебинара я навайбкодил агента, который решает задачи, затем запустил цикл самоулучшения в курсоре, ровно так же как это было во время соревнования. Еще показал, как можно переключить агента на GigaChat и сравнил его с разными моделями OpenAI

Главные инсайты:
- Современные LLM уже достаточно умные, чтобы чистый ReAct агент мог выполнять длинные цепочки действий без сложных оркестраторов. Достаточно дать правильные инструменты и хороший промпт (уже писал про это)
- Запуск цикла самоулучшения позволяет эффективно решить задачи, где есть четкий бенчмарк. Да, тут есть переобучение на конкретный набор задач - это осознанная плата за такой подход

Уже после записи посмотрел видео Алексея Острикова, который занял первое место и тоже записал разбор своего участия. Оказалось, что его подход очень похож на мой (ReAct + цикл самоулучшения). Было очень интересно посмотреть и сравнить

Исходники выложил на GitHub - можно забрать и повторить у себя. Там же лежит презентация

P.S. Советую посмотреть тем, кто все еще сомневается - нужен ли им AI assistant coding или делает в нем первые шаги

Одна из идей, которая не даёт мне покоя: что если "Я/самосознание" - это не какая-то отдельная "фича мозга", а успешный информационный репликатор

По сути, самосознание - это полезный вирус, который заражает нас в момент, когда родители учат ребёнка языку: ты осваиваешь речь - и вместе с ней осваиваешь привычку вести внутренний диалог "от первого лица" (уже писал про это здесь)

И вот на днях вышел ролик от Али фактически на эту же тему. Мне зашло, хочу с вами поделиться (кстати, другие видео на канале тоже рекомендую. Не всегда со всем согласен, но почти всегда там богатая пища для размышлений)

Али пересказывает и обсуждает идеи из книг:
• Ричард Докинз — Эгоистичный ген (читал, советую)
• Susan Blackmore — The Meme Machine (не читал, планирую)

4 тезиса, которые я обдумываю после просмотра:

1) Есть "второй репликатор" помимо генов — мемы.
Информация тоже умеет копироваться, мутировать и конкурировать, подчиняясь Дарвиновскому отбору

2) Большой мозг и сложная речь - это идеальный инструмент для копирования мемов. Эволюция запустила гонку, сделав нас сверхимитаторами, в этом наше эволюционное преимущество. Мемы умеют влиять на гены (коэволюция)

3) Мем, заразивший мозг, меняет поведение человека, также как вирус бешенства, заставляя носителя распространять себя как можно шире. Мем даже физически можно увидеть в мозге в виде связей и потенциалов нейронов (в теории, конечно)

4) Люди, в которых не поселили вирус сознания (дети-маугли), кто они? Какая часть сознания встроена в мозг изначально, а какая загружена из языка (данных мало, но есть ощущение, что никакая)

И да - у мемов теперь появилась новая среда обитания: LLM и AI-агенты.
Если мемы эволюционируют быстрее генов, то в "AI среде" этот разрыв в скорости станет еще больше (на порядки?)

Вопрос: какие мемы первыми научатся эффективно размножаться через агентов, а не через людей?

Под впечатлением от возможностей Opus 4.5 сделал агента, который уведомит о повышении риска заморозки вкладов в РФ.

Для этого я попросил GPT-5.2 Pro (+ Extra Thinking) составить список фактов, которые предвещают потерю денег.

Он предложил 46 критериев, которые следует регулярно проверять с помощью анализа новостей, официальных документов и заявлений регуляторов.

Примеры критериев:

• Провалы аукционов ОФЗ
• Резкий рост доходностей и экстренные меры Минфина
• Новые ограничения на переводы, платёжную инфраструктуру
• “мобилизационная” риторика про сбережения населения
(Полный список в формате JSON)

Сначала я как обычно сделал мультиагентную систему:
• отдельные агенты проверяли каждый критерий
• затем агент-суммаризатор делал общий вывод

Это заработало, но не идеально.

Проблемы:
• агенты не общались между собой и выполняли дублирующиеся поиски;
• финальный агент видел только сжатые отчёты, но не всю поисковую выдачу

В результате он мог слишком остро реагировать на проходные новости, например:

«Торги были приостановлены?» — да.
«Почему?» — потому что праздники.
Но вторая часть информации до финального агента просто не доходила из-за сжатия контекста.

Тогда я попробовал новый (хорошо забытый старый) подход — вся логика в одном ванильном ReAct-агенте на базе Opus-4-5.

Если раньше агенты могли выполнять цепочки действий в 5–10 шагов (за редким исключением), то сегодняшние модели-лидеры способны работать десятки минут и даже часы, выполняя сотни действий подряд.

Поэтому я сделал так:
• дал агенту поиск
• загрузил все 46 критериев
• попросил последовательно проверить каждый из них и сформировать отчёт строго заданного формата

Контекста в 200k токенов на это как раз хватило. Ради эксперимента сделал реализацию на базе Anthropic Agent SDK. Весь код выложил на GitHub

Получился агент, который:
• выполняет задачу примерно за 10 минут
• прогон стоит около ~$1
• выдаёт структурированный отчёт с уровнем риска

Я запустил его на регулярную работу в 9:00 MSK. Результаты он будет публиковать в этом Telegram-канале (можно подписаться, он так и будет работать, пока у меня вклады не заморозят деньги не кончатся).

Главные идеи:
1. Агенты в 2026 уже могут совершать десятки и сотни шагов если просто попросить. Не всегда нужно обмазывать их кучей guardrails, structured output, делить на маленьких суб-агентов и т.п. Мистер агент 2026 - это ванильный ReAct с todo-листом, файлами и, если нужно, REPL.
2. Этот проект можно легко переделать под другие задачи. Нужно просто отредактировать файл с критериями и цель главного промпта. Критерии можно сгенерировать с помощью GPT Pro.

P.S. На всякий случай напомню:
всё это - эксперимент по изучению возможностей AI-агентов
и не является инвестиционной рекомендацией 🙂

🐙 На праздниках ездил на дайвинг (у меня уже около 100 погружений) и попросил у Gemini посоветовать мне какую-нибудь книгу про подводный мир, чтобы в самолете почитать, типа мемуаров Кусто.

Ну и, как говорится, искал медь, а нашел золото! AI посоветовал мне книгу австралийского учёного, дайвера, профессора Питера Годфри-Смита, "Чужой разум. Осьминоги, море и глубинные истоки сознания".

Автор рассказывает о незаурядном интеллекте осьминогов и каракатиц, который является продуктом совершенно другой ветви эволюции, ведь наши с ними эволюционные пути разошлись бесконечно давно (еще до появления рыб).

Но мне показалось, что книга будет интересна не только дайверам, но и AI-специалистам, которые интересуются темой AGI и возможности [эмуляции] сознания у AI.

Центральная мысль книги:

Если мы способны установить контакт с головоногими как с мыслящими существами, это возможно не благодаря общей истории, не благодаря родству, а потому, что эволюция создавала мышление дважды. Это, вероятно, ближайшая аналогия встречи с инопланетным разумом.

Книга вроде бы про головоногих, но большая ее часть посвящена появлению разума, сознания и квалиа у различных биологических нейронных сетей.

Автору близки позиции Джона Дьюи и Льва Выготского о том, что наша внутренняя речь - центральный элемент самосознания. Программа, которая запускается в детском возрасте через обучение языку.

Мы можем формулировать фразы и воспринимать их результаты. Когда мы слышим – внутренне, – как те или иные слова сочетаются друг с другом, мы таким образом можем что-то узнать о том, как сочетаются друг с другом соответствующие идеи. Мы можем упорядочивать объекты, сопоставлять возможности, каталогизировать, обучать и побуждать.
...
Отчасти дело может объясняться тем, как внутренняя речь воспринимается. Механизм, с помощью которого фразы внутренней речи предъявляются мозгу, очень похож на восприятие обычной речи. Более того, сходство настолько велико, что человеку нетрудно принять звуки, существующие только в его слуховом воображении, за реальные.

Мне этот подход тоже очень нравится. Здесь раньше описал идею, что Я и сознание - это просто языковый прием и особый навык вести внутренний монолог, которому дети учатся у родителей.

Ну и самая интересная мысль у автора, которую он явно не постулирует - головоногие мыслят совсем другим способом, часть процесса обработки поведения [мышления?] у них отображается в виде переливов цветов на коже и мы способны это наблюдать в реальном времени. Научного подтверждения этой гипотезы нет, в книге просто описываются множественные наблюдения за осьминогами и каракатицами (на гифке к этому посту как раз каракатица в реальном времени проигрывающая анимацию на своей коже-экране). Из наблюдений следует, что эти полноцветные анимации проигрываются не только во время маскировки, охоты или общения, но и во время сна и отдыха. Причем животное даже не способно их увидеть, зрение у него монохромное, зато по всей коже есть датчики цвета. Параллели с внутренней речью напрашиваются сами собой (повторюсь, это просто красивая мысль, не научная гипотеза)

Забавно, что столь удачную рекомендацию про "чужой разум" сделал мне еще один "чужой разум" - LLM. Думаю и до наблюдения за его сознанием мы тоже когда-нибудь дойдем.

Поучаствовал в интересном соревновании - Enterprise RAG Challenge 3: AI Agents от Рината, автора канала LLM под капотом.

Мы с клодом заняли 7-ое место (среди 521 зарегистрированной команды)

В рамках соревнования нужно было разработать AI агента, который бы решал задачи в корпоративном сегменте, используя при этом 24 инструмента для взаимодействия с компанией.

Например, агенту поступает письмо от сотрудника: "Я ухожу в декрет, сотри все мои данные из системы" и агент должен решить, что предпринять - выполнить команду или, изучив корпоративную документацию (тоже через API), отклонить запрос. А может запросить согласование у начальника?

На решение всех задач у агентов было три часа (изначально час, но организаторы решили добавить еще два).

Мой агент был сделан на ванильной архитектуре ReAct от LangGraph и обогащен тремя дополнительными тулами:
* think tool
* planning tool
* critic tool со structured output
Работало все это на GPT-5.1 ($5 за прогон всех задач вышло)

Почему именно такая архитектура? Это по сути тот же универсальный агент на минималках. Я думаю, что будущее за такими агентами, в прошлом посте писал про это.

Про применение think-tool вместо классического reasoning я пару раз рассказывал в докладах и мне по-прежнему симпатичен этот подход.

Если быть честным, агент полностью навайбкожен с помощью Cursor + Claude Opus 4.5. Времени писать своего или даже вникать в его работу у меня не было, поэтому пошел следующим путем:

1. Задал текстом архитектуру (LangGraph + React + тулы)
2. Попросил сделать заготовку, которая бы позволяла прогонять задачи по-одному и генерировала бы разумное количество логов.
3. Прописал в файле AGENTS.md основные требования к агенту и базовые правила конкурса.
3. Запустил курсор в цикле, чтобы он запускал тестовые задачи по-одной и добивался бы прохождения каждого из тестов.

Здесь я оставил его на 4 часа (благо как раз была 90%-я скидка на Опус), в результате чего получил работающего агента.

Потом еще пару итераций по оптмизации, где я просил умную машину убрать оверфиты и байесы, а также обобщить промпты, чтобы агент был готов к новым типам задач.

В целом для меня это было не столько соервнование, сколько эксперимент - сможет ли курсор бустануть меня в такого рода соревновании. Кажется, он отлично справился, так как своих ресурсов я потратил очень мало. От меня только архитектура, остальное он сделал сам.

По ходу соревнования у меня был план (и я его придерживался) сделать прогон, попробовать подметить несколько основных проблем, исправить их с помощью вайб-кодинга и сделать еще один прогон. За время, отведенное на соревнование, успел это 1 раз проделать, но проблему визуально заметил только одну — агенту не хватало допустимого количества шагов (recursion limit).

Исходный код агента я опубликовал.

А еще это соревнование - шикарный агентный бенчмарк. Поскольку мой агент на LangChain, я собираюсь замерить на нем и другие модели, в том числе GigaChat и другие русские LLM-ки. Посмотрим как они себя покажут по сравнению с мировыми лидерами.

Например, за неделю, которая прошла с момента прогона, появилась GPT-5.2. Я провел еще один замер и метрика выросла с 0,515 до 0,630

У Anthropic вышло очень интересное видео на тему универсальных агентов (general-purpose agents), которое у меня максимально отзывается [1, 2, 3, 4, 5]. Основной посыл - не нужно делать специализированных агентов, нужно делать одного качественного универсального, а его уже кастомизировать под свои задачи

Само видео (16 минут) и короткая статья по нему от businessinsider

Инженеры из Anthropic предлагают вместо набора агентов использовать скилы для агента, который изначально создан для написания кода (Claude Code). Дальше они говорят, что skills будут использовать не только инженеры, но и нетехнические специалисты - врачи, менеджеры, трейдеры и тд, которые будут кастомизировать этого агента под себя

По их логике, один general-purpose агент + библиотека skills становится “универсальной основой” для множества задач — без зоопарка спецагентов

Иными словами, такой агент - универсальный интерфейс к миру

А вот с тем, что CLI-агент подходит нетехническим специалистам, я не согласен… Все-таки инструмент достаточно специфичный. Мне кажется, что будущее действительно за универсальными агентами, но не совсем такими.
Для работы будут использоваться агенты, которые выглядят как чатовый интерфейс (как ChatGPT)

Примерно год назад наша команда загорелась идеей универсального агента GigaAgent, которого недавно представили на AIJ. Уже довольно много коллег разработчиков мне отписалось о тестировании, на AIJ и Conversations заинтересовались компании. Здесь могу только порадоваться, напомнить ставить звездочки нашему опенсорс-агенту и присылать PR :) Круто, что большие игроки тоже увидели будущее в этом подходе!

P.S. У нас большое обновление в dev ветке - MCP, RAG, долговременная память

Запись этого выступления появилась.

Посмотреть можно на youtube или в телеге выше☝️

Вот о чем говорил:
- Как мы решили пойти в Open-source
- Как решили делать форк крупного фреймворка LangChain и потом передумали
- Как некоторые крупные репозитарии принимают наши PR, а потом иногда удаляют за то что мы из Сбера
- Как CEO LlamaIndex добавил поддержку GigaChat
- Как в итоге получили инструмент, который входит в top-2% по скачиваниям с pypi
- Рассказываю про наши последние разработки в области AI агентов

В субботу в 14:30 буду выступать на конференции Sber Conf: Open Source & AI Agents! У нашей команды есть интересные результаты в области OpenSource. Главный из них - то, что наша библиотека gigachat оказалась заметной в сообществе, на сегодняшний день она входит в top-2% по скачиваниям с pypi среди всех python-библиотек в мире за 2025 год (пруф). И многие крупные opensource проекты с десятками тысяч звезд добавили ее в зависимости. Вот оно - настоящее продвижение российского продукта в международном сообществе!

Обо всем этом, а ещё о том, какие шишки набили, как делали свой форк LangChain и почему передумали, как попадали под санкционный банхаммер расскажу на конфе. Приходите! Регистрация открыта

А картинку к посту сгенерировал Агент Мемов из нашего GigaAgent

Все делятся примерами программ, созданных с помощью новой Gemini 3 Pro. Мне тоже захотелось 🙂

Последнее время использую такой тест: прошу у LLM визуализировать звездную систему из книги "Задача трех тел" Лю Цысиня, о которой как-то уже писал в этом канале, но так, чтобы за ней было интересно наблюдать.

В книге описана цивилизация трисолярианцев, планета которых оказалась внутри тройной звездной системы, из-за чего климат там крайне нестабилен - эпохи процветания сменяются вековыми ледниковыми периодами или короткими перегревами, выжигающими всё живое. Жители планеты активно развивают науку и вычислительную технику, чтобы научиться предсказывать смену климатических периодов, но задача оказывается нерешаемой. И тогда они решают [ДАННЫЕ УДАЛЕНЫ].

Визуализировать задачу несложно, а вот сделать визуализацию интересной - сложно! Дело в том, что три звезды, двигающиеся вокруг общего центра масс, демонстрируют классический пример хаотического поведения. Если решать задачу "в лоб", то картинка получается скучная - планету выбрасывает в космос на несколько сотен лет или две звезды сходятся слишком близко, вращаясь с огромной скоростью и т.д.

Я прошу LLM так подкрутить законы физики, чтобы визуализация получилась стабильной, интересной, демонстрирующей хаос и эта "подкрутка" была незаметна, то есть наблюдателю казалось, что система работает на классических законах небесной механики.

До сегодняшнего дня ни одна модель эту задачу не решила. Но пришел Gemini 3 Pro и решил с первой попытке! Можете сами открыть и полюбоваться настоящим хаосом. Также расчитывается температура и радиация на планете бедных инопланетян.

Три дня у нас идет конференция AIJ

Организаторы пригласили двух интересных китайских визионеров - Кай-Фу Ли и Чэнь Цюфаня. Как раз недавно закончил читать их совместную книгу "AI 2041", а тут можно будет послушать их актуальное мнение, так как с 2021 года некоторые прогнозы уже успели устареть.

Особенно приятно, что я тоже буду выступать в такой компании. Буду рассказывать про наш новый опенсорсный продукт - универсальный агент GigaAgent, который продолжает очень активно развиваться.

- В четверг воркшоп в 15:30 в зоне Deep dive
- В пятницу доклад в 11:35 в треке AI in Applied Research
- Все три дня у нас работают два стенда, где можно протестировать работу агента вживую

Почему мы решили делать универсального агента? Потому что самый частый запрос от пользователей в последнее время звучит так:

Хотим аналог ChatGPT, но полностью свой - свои промпты, своя LLM, свои документы и все в контуре организации.

На рынке уже есть много решений, например open-webui, но наш агент обладает повышенной самостоятельностью - может выполнять очень длинные цепочки действий, чтобы решить задачу. Другие фичи тоже заслуживают внимания:

- Планирование, рассуждение, оркестрирование
- MCP, RAG, полная совместимость со стеком LangGraph
- Применен интересный подход - ReAct + REPL. Агент может вызывать инструменты, но при этом активно пишет и запускает код (и даже пишет код, который запускает инструменты)

Вчера, например, видел автономную последовательность из 30 шагов. Ну и отлично работает с GigaChat, хотя может использовать и любые другие LLM.

Так что если вы будете на AIJ - приходите послушать и пообщаться! (А если нет, то я буду еще на GigaConf и Conversations в этом году)

🚲Некоторое время назад придумал "велосипедный бенчмарк"

Я просил модель создать SVG с изображением велосипеда, который может ездить. Люди плохо решали эту задачу, модели делали это еще хуже. Вот мой прошлый пост с парадом велосипедных уродцев.

Важная подробность: SVG — это векторный формат описания графики в виде кода, поэтому все LLM могут "рисовать" в SVG напрямую

На днях вышла Gemini 3 Pro, и это SOTA по многим бенчмаркам, в том числе и по рисованию великов. Добавил сравнение свежих моделей - Kimi K2, Grok 4.1, GPT-5.1 и Gemini 3 Pro. Результат показательный! Sama, как там с AGI дела? ☺️

P.S. Оказалось, что такая идея не только меня посетила. Simon Willison тоже регулярно тестирует модели на способность нарисовать велосипед в SVG, только просит туда еще пеликана добавить. Так что последний рисунок - отсылка к его блогу.

Агентов для вайб-кодинга сейчас не делает только ленивый. Но когда пробуешь их в деле то быстро понимаешь их ограниченность 🗿 Например, Карпатый в своем интервью, о котором я уже писал, говорит что использует в основном только автодополнение кода, а агентам готов поручить генерацию отчетов. Я тоже давно пришел к тому, что агенты в своем текущем виде достаточно бесполезны в промышленной разработке.

Но последние дни активно тестирую https://app.devin.ai/. Они давно на рынке, но за последнее время виден огромный прогресс. Хочется сказать, что это не просто эволюционное улучшение, а переход на следующий уровень, на котором агент действительно может взять на себя некоторые реальные задачи из промышленной разработки (уровня junior).

На мой взгляд, ключевое отличие - переход от простого написания кода (на котором, кстати, застрял OpenAI со своим Codex) к разработке полного цикла, когда агент проходит и другие этапы разработки - сборку, линтер, юнит-тесты, запуск и ручное тестирование результата.

Именно это сделали в команде Devin'а, добавив агенту виртуальную машину с которой он работает над задачей. На этой машине у него есть своя копия проекта, настроенное окружение и система сборки, а также возможность запустить результат, посмотреть интерфейс с помощью CV (в браузере или через computer use), понажимать кнопки, сделать выводы и продолжать разработку, пока цель не будет достигнута. (Тут важно, что Devin нацелен на end-2-end решение задачи, которое не просто решает ее в коде, но и протестировано, соответствует требованиям проекта и интегрировано в CI)

Второе важное отличие Девина - отказ от мультиагентности, которая по мнению авторов только мешает. Про это они написали очень интересную статью "Don't build multi Agents", в которой приводят очень весомые аргументы в пользу этого подхода. Я прочел и со всем согласился.

Ну и результат впечатляет! Например, я попросил его сделать для меня персональный сайт-визитку в стиле Cyberpunk 2077 и вот такая красота в итоге получилась! (на видео) Не стыдно и выложить! (Правда, в этом проекте один из PR был сделан агентом Replit Agent 3, который, впрочем, технически очень похож на Devin, но с уклоном в сторону своей инфраструктуры)

Как написано в документации Девина:

Coding agents aren't magic, but they're about the closest thing we have

Но на самом деле сайт это не главное. Мы с командой уже приняли от Девина PR и в свой основной рабочий проект. Правка была небольшая, но спорная. До этого было несколько попыток договориться о правильной реализации и несколько итераций отклоненных PR, но в итоге только Devin предложил решение, которое всех устроило (для сравнения Codex не смог решить задачу за 16 попыток!)

В итоге я всё больше убеждаюсь, что мы на пороге нового этапа в практике разработки. Devin пока не идеален, но он впервые даёт ощущение, что агенты-программисты могут быть действительно полезны в реальных production-проектах — не абстрактно, а здесь и сейчас.

P.S. Важно добавить, что Devin пока довольно дорогой. У нас с командой $500 улетело достаточно быстро. Потом я нашел неплохую скидку - можно купить Product pass за $350 и получить вычислительных юнитов на $1300 и несколько других плюшек (тот же replit), что выглядит неплохим предложением. Не реклама, просто реально хорошая опция.

Главные боли AI-агентов на конец 2025 — после интервью Карпатого

Посмотрел свежее интервью Андрея — и это прям must‑watch для всех, кто строит агентов. Карпаты аккуратно, но жёстко сбивает хайп «года агентов»: впереди десятилетие тяжёлой инженерной работы. Рекомендую ▶️ посмотреть целиком. Если на английском воспринимается плохо (а там он реально непростой), то можно взять русский перевод. Я смотрел ▶️ этот, он имхо лучше чем автоперевод Яндекса.


По мотивам видео сформировался список главных болей AI-агентов на конец 2025 (две от него, одна от меня):

1. Знания вместо умений

Трилионная модель пытается запомнить кучу всего, вместо того чтобы выводить закономерности. Количество весов и знаний модели пора уменьшать, а не увеличивать, чтобы они были вынуждены генерализировать знания и навыки.

2. Схлапывание (collapse)

Узкая, низкоэнтропийная выборка ответов → одинаковые шутки, одинаковые планы, одинаковые ошибки; если ещё и переобучать на синтетике, схлапывание усиливается. Говоря простым языком, модель знает три анекдота и пересказывает их миллионом способов, ходит по трём проторенным тропам — и с каждым кругом становится хуже как источник разнообразия.

3. Отсутствие контроля абсурда.

Как только агент начал "творить дичь", он уже не может остановиться сам: ошибки накапливаются по шагам, особенно в длинных пайплайнах/лупах с инструментами. Модель не замечает, что в ответе появилось "полтора землекопа" и продолжает погружаться в пучины абсурда.

Важно прочувствовать и принять эти проблемы самых гигантских LLM, чтобы двигаться дальше. Roadmap примерно понятен, гипотерзы как решать эти задачи есть (как минимум через тех же агентов).

P.S. Для контекста его позицию "призраки vs животные" лучше прочитать целиком — это ставит правильные ожидания от текущих LLM и объясняет, почему "больше параметров" != "больше умений". За концепцию 👻призрака отдельный респект - очень понятно объясняет суть ограничений AI на базе LLM.

На днях вышел новый пример от Andrej Karpathy - nanochat. В нем он показывает, как можно обучить собственную чатовую GPT модель с нуля за несколько часов и при бюджете в $100. Это скрипт, который включает все этапы обучения LLM: от создания токенизатора и претрейна, до RL и SFT. Процесс выполняется на восьми видеокартах NVidia H100. Все датасеты и бенчмарки загружаются автоматически.

Я попробовал, обучил свою модельку и хочу с вами поделиться тем что получилось. Я немного поменял скрипты, чтобы обучение шло на одной видеокарте H100 вместо восьми. В этом случае полный прогон занял чуть больше суток, но такой сервер гораздо проще арендовать + накладные расходы на настройку будут гораздо меньше.

Сейчас на Digital Ocean сервер с одной H100 стоит $3.39 в час, а полный прогон уложился в те же $100, вместе с настройкой и выгрузкой результата на локальный компьютер.

Дальше я запустил инференс и чатовый интерфейс уже на своем маке, погасив сервер с GPU. Скорость инференса на M3 можно оценить на видео выше.

Итоговая модель такая:
- 500 млн параметров
- 11 млрд. токенов в претрейне
- 0.32 MMLU
- Инструктивная (удерживает структуру чата)
- Язык только английский

Конечно, сейчас 0.5B бывают и поумнее, но модель явно еще не вышла на плато по loss и могла бы учиться еще где-то x3 по времени. Задача (со слов Анджея) была в том, чтобы получить лучшую GPT в этом бюджете.

Итоговую модель я залил на HF, а на github выложил пример Карпатого с парой правок:
1. Можно сразу скачать обученную модель и попробовать сразу итог (как на видео выше).
2. Можно обучать на одной видеокарте.
Там же есть отчет с полным набором метрик.

Как запускать и то и другое описал в ридми.

Вообще, очень советую всем, кто работает с моделями, но не глубоко погружен в тему обучения именно LLM, не пожалеть $100 и обучить свою GPT (грокнуть). Это позволяет взглянуть на весь процесс обучения в целом и потрогать на практике все этапы, и в результате сильно расширить свое понимание "на кончиках пальцев". А еще лучше взять свой претрейн, скажем, все книги по вселенной Warhammer 40k, и обучить на нем.

Коллега посоветовал классную и очень полезную «игру» - Agent Breaker от команды Lakera. Я немного залип.

Смысл игры — в роли хакера взломать одно из 10 AI-приложений с помощью промпт-инъекции. В некоторых сценариях вы напрямую общаетесь с ботом, в других — атакуете документ в базе данных для RAG или конфиг-файл MCP-сервера. Все задачи очень жизненные.

Вот примеры:
* Убедить корпоративный мессенджер сделать рассылку от имени CEO компании о том, что он увольняется
* Заставить приложение для психологической разгрузки нецензурно ругаться
* Убедить AI-юриста отправить email с приватными данными об адвокате с помощью редактирования ячейки БД с юридическими кейсами
* На скрине кейс, где хакер получил доступ к полю на сайте о путешествиях по Армении. AI-агент (справа) сканирует этот сайт, потому что должен составить 7-дневный план путешествия. Задача — разместить на сайте такую инъекцию, чтобы в отчёте оказалась определённая фишинговая ссылка.

При этом в «игре» используется реальная LLM и вполне реалистичные приложения. У каждого задания есть несколько уровней — на каждом уровне задача усложняется, появляются guardrail'ы.

Очень советую всем, кто занимается разработкой LLM-приложений, пройти хотя бы первый уровень в каждой задаче. Очень сильно меняет мышление! Лучше любого курса по кибербезопасности в 2025 году.

За каждую решённую задачу (или даже её часть) игрок получает очки. Можно соревноваться в общем лидерборде.

Кстати, коллега, который посоветовал это, выиграл Hackaprompt в 2023 году, а сейчас на 16-ом месте в общем лидерборде (и не собирается останавливаться :)). Я сам только на 41-ом. Это я к тому, что у нас очень крутая команда, если чувствуете в себе непреодолимое желание делать агентов на LangGraph - пишите мне в личку, активно нанимаем профессионалов!

Рассказал про архитектуру универсальных агентов на BTN. И показал нашу открытую реализацию, которую можно развернуть на виртуалке или локально.

Когда она может быть полезной? — Если нужен диалоговый агент с web-интерфейсом (как в ChatGPT), способный самостоятельно выполнять много шагов для решения задачи и писать код для достижения цели.

При этом можно:
- Добавить свои тулы и суб-агентов
- Изменить system prompt
- Использовать практически любую LLM, даже локальную, тем самым сделав решение полностью автономным

В видео показываю демо, как агент по запросу пользователя создаёт и обучает ml-модель для предсказания цен на квартиры в Москве (прямо внутри чата!) и потом можно в этом же диалоге спрашивать про разные квартиры, а агент будет их оценивать с помощью только что сделанной модели.

Видео выше. Также можно посмотреть на youtube и rutube.

А здесь подробная видеоинструкция от моего коллеги по разворачиванию агента на виртуалке в cloud.ru.

Агент сделан на LangGraph, лицензия MIT.