Dmitrii Yudin | AI Strategy & Growth

Мне кажется, при внедрении агентного ИИ мы сейчас сильно недооцениваем важность eval.

Все внимание обычно уходит на скорость: сколько систем подключили, какие инструменты дали агенту, сколько действий он может выполнить самостоятельно. Получается все более впечатляющий «суперинтеллект», который умеет читать почту, ходить в CRM, работать с документами и выполнять длинные цепочки действий.

Но интеграции дают агенту возможности, а не точность.

Мне вообще нравится смотреть на современного ИИ как на гениального стажера. Он очень много знает, невероятно быстро работает и способен за несколько минут сделать то, на что человеку потребуются часы. Но это все еще стажер, который в какой-то момент может неправильно понять задачу, сделать неверное предположение и дальше с огромной скоростью развивать собственную ошибку.

И это не просто теория. В одном из исследований разобрали почти 1800 траекторий работы современных coding-агентов. В неуспешных задачах критическая ошибка в среднем появлялась уже примерно на 7-м шаге, а явно заметной становилась только около 16-го. При медианной длине траектории в 27 шагов. Причем в 82% случаев после критической ошибки агент продолжал работать дальше.

То есть значительную часть времени ваш «суперинтеллект» может очень быстро и очень убедительно делать уже не то.

И вот здесь появляется eval. Если совсем просто, то системная проверка качества работы ИИ на заранее подготовленном наборе задач и критериев. Не «потыкали десять раз — вроде работает», а возможность измерить, насколько хорошо агент действительно выполняет ту работу, ради которой мы его сделали.

И самая некрасивая часть всей этой истории в том, что хорошего eval не всегда можно быстро сгенерировать другим ИИ. Иногда приходится руками собирать десятки и сотни примеров, пограничных случаев и правильных результатов. Потом менять промпт, модель или инструменты и снова прогонять все это.

Это скучнее, чем подключить агенту еще десять интеграций. Но чем больше действий мы разрешаем ИИ совершать самостоятельно, тем важнее становится не вопрос «что еще он умеет?», а вопрос «насколько мы уверены, что он делает это правильно?»

Кажется, в эпоху агентов умение хорошо измерять качество станет не менее важным навыком, чем умение самих агентов строить.

На выходных сидел и ковырял очередной проект с fable, как раз в воскресенье нужно было за день (как всегда), потратить недельные лимиты на fable.

Сорри, за пуши)
Тестирую работу Hermes к семинару в университете)

Сберунивер делает крутую программу - ГигаАкадемия
Там не только читают лекции и учат теории, но еще и реально практикуемся в работе с интеграциями, решением реальных задач и работой с контекстом.

Это не рекламный пост) Действительно хорошая программа, на которую даже тем, кто читает лекции и преподает порой нужно готовиться)
K8s развернуть например с 72 Гермесами и посмотреть как они общаются друг с другом через общую доску))

Сегодня постараюсь добить оформление второго выпуска.
Сайт пока в разработке.
https://NeededPlus.com

Тоже скоро будет готов, там уже есть онлайн читалка и музыка вселенной с продуманными текстами и смыслом всего мира.

А так же расширенный контент.

О выходе сайта сообщаю дополнительно, но он будет постепенно наполняться.

Для подписчиков канала, релиз на день раньше))

Всем привет! Сегодня небольшой, но важный для меня релиз.

Последнее время я работал по вечерам над романом. Ну, точнее, над графическим романом — NEEDED+.

Это просто небольшое хобби. Хотелось немного разгрузить голову, отвлечься от повседневных задач и сделать что-то творческое. В итоге незаметно для себя я придумал целый мир, его историю, компании, технологии и людей, которым предстоит в нём жить.

NEEDED+ — это история о будущем, которое, возможно, нас ждёт. Где-то футуризм и прогнозы, где-то философия, а где-то довольно суровая реальность.

Что произойдёт с обществом, когда искусственный интеллект научится делать практически всё лучше человека? Как изменятся работа, образование, экономика и сами люди? И главное, что будет значить быть нужным в мире, который больше в тебе не нуждается?

Об этом и будет моя история.

Сегодня публикую первый выпуск NEEDED+.

Немного о планах:

Три полноценных выпуска уже написаны.

Первый выходит сегодня, ещё два находятся в производстве.

Новые выпуски планирую публиковать каждую пятницу.

Делал всё максимально от души, без каких-либо коммерческих целей. Просто захотелось рассказать историю, которая давно крутилась у меня в голове.

Буду очень рад, если прочитаете и поделитесь впечатлениями.

Ну и, конечно, можете подписаться на мои соцсети (те самые, запрещённые в РФ ) и поддержать автора реакцией, комментарием или подпиской. Для меня это будет отличной мотивацией продолжать.

🌐Instagram NEEDED+

▶️ Сети, облака и новая инфраструктура для ИИ — интервью с Михаилом Лобоцким

В новом выпуске «Промкаста» говорим с Михаилом Лобоцким, генеральным директором Cloud․ru. Обсудили, как ИИ-гонка вышла за пределы языковых моделей и видеокарт, роль телеком-экспертизы в развитии альтернативной инфраструктуры и китайский путь развития ИИ.

Михаил рассказал, почему современные стойки в ИИ-ЦОДах могут оставаться полупустыми, как облако превращает капитальные расходы в оплату GPU по минутам и что станет одним из главных источников нагрузки на вычислительную инфраструктуру. Отдельно обсудили ИИ-агентов, переход от цифровых моделей к роботам и навыки, которым стоит учить детей уже сегодня.

▶️ «Промкаст» — видеопроект Издательского дома «Новые отраслевые медиа», который развивает более 35 узкоспециализированных медиапроектов о ключевых секторах экономики — от добывающей и обрабатывающей промышленности до сельского хозяйства, от фарминдустрии до строительства и ритейла.

В выпуске:

01:08 Как объяснить, что такое облако, простыми словами
05:06 Как Cloud․ru начал строить инфраструктуру для искусственного интеллекта
10:30 Что такое токен и как формируется стоимость работы ИИ
14:48 Нагрузка на мощности: ночью учим, днём отвечаем
17:05 Почему модель невозможно отделить от железа и программного стека
25:14 Нео-облака и экономика вычислительной инфраструктуры
28:45 Составляющие китайской модели развития инфраструктуры для ИИ
38:08 Агентные системы: от чат-бота к действию
45:12 Заменит ли искусственный интеллект человека
49:23 Переход от цифрового ИИ к роботам
53:01 Какие навыки и образование понадобятся детям в будущем

Выпуски подкаста с Михаилом Лобоцким на других платформах:
📷 YouTube
📺 VK Video
🎵 Яндекс Музыка
💬 MAX

☎️ Телекоммуналка в Telegram | в MAX

PS: интеграции останутся важны, но уже не агента нужно интегрировать к системе, а систему адаптировать к работе с агентом.

Кажется, AI-агенты скоро добьют огромный класс корпоративного софта. Не сам софт, а его интерфейс.

Посмотрите на обычный рабочий день. Открыл Jira, нашел проект, завел задачу. Потом CRM: нашел клиента, заполнил поля. Потом 1С: нашел нужный раздел, сделал выгрузку. Потом Excel, потом PowerPoint, потом письмо руководителю.

Мы называем это работой. Но большая часть этой цепочки просто подстройка человека под логику машины. Где кнопка, как называется сущность, какие пять экранов пройти ради одного действия. Кто впервые открывал 1С, тот помнит это чувство. Компания платит людям за то, чтобы они выучили язык программы.

Агенту этот язык не нужен. Ему нужны API, права доступа, данные и описание бизнес-логики. Вместо десяти кликов по CRM с фильтрами и экспортом в Excel можно просто спросить, почему в этом месяце просела конверсия в Enterprise. Агент сам решит, куда сходить и что с чем сопоставить.

Интерфейс при этом не исчезает, он становится одноразовым. Нужна таблица или график, агент их соберет. Нужна пара контролов, сгенерирует маленькую страничку под задачу. Едете за рулем, расскажет голосом. Посмотрели и выбросили.

Мой любимый пример про презентации. Сотрудник три часа собирает PPTX для руководителя. Руководитель загружает его своему агенту и просит выделить главное и найти слабые места. Данные прошли через человека, интерфейс и слайды только для того, чтобы агент снова превратил их в смысл. Хотя можно было сразу: данные, агент, смысл, человек.

Глазами смотреть все равно придется. Канбан, воронку или финмодель иногда проще увидеть, а важные действия человек должен подтверждать сам. Но основным способом управления системой интерфейс быть перестанет.

И здесь меняется само понимание хорошего enterprise-продукта. Двадцать лет вендоры продавали экраны и дашборды (хотя 1С, будем честны, выиграла рынок совсем не красотой). Дальше вопрос будет другим: насколько удобно вашим продуктом пользоваться чужому агенту. Нормальный API вместо сотни экранов, понятная семантика данных, машиночитаемые права, события, MCP, документация.

Возможно, следующий этап корпоративного софта это не AI внутри каждого приложения. Скорее наоборот, одно AI-приложение снаружи и десятки систем внутри, в которые человек почти не заглядывает.

Вот такая есть еще зарисовка)

Ну собственно, спасибо, что сказали)

Недавно вспомнилась забавная реклама про стиральный порошок (кто знает, тот знает) .

Лонгрид моих размышлений - проводя вечера за сбором агентных систем для разных задач.

Сорри, особо не делюсь, тк много прикладной работы, которая затягивает. А репостить ссылки на новости смысла не вижу.

Кажется мы постепенно подходим к моменту, когда OpenClaw и другие «суперагенты» окажутся не конечной точкой развития, а довольно коротким переходным этапом.

И судя по тому, что сейчас происходит в индустрии, это уже не особо маргинальная мысль.

Microsoft на Build 2026 прямо говорит о Windows как о платформе для запуска агентов и начинает переносить agent identity, containment, permissions и управление агентами на уровень самой ОС.

Параллельно появляются исследования про Agent Operating System, где scheduler, memory, context, capability registry, permissions и observability уже рассматриваются не как части конкретного agent harness, а как системные примитивы.

В одной из свежих работ авторы вообще проводят довольно интересную аналогию. Agentic AI сейчас находится примерно в той же стадии, в которой когда-то находились операционные системы до POSIX или облачная инфраструктура до Kubernetes. Много frameworks, много собственных реализаций одних и тех же вещей и пока нет стабильного системного слоя.

И если посмотреть на OpenClaw и похожие системы с этой точки зрения, возникает немного странная картина.

Мы берем одного достаточно умного агента и постепенно выдаем ему доступ к браузеру, почте, файлам, терминалу, календарю. Потом добавляем память, sandbox, permissions, scheduler, subagents, observability.

И в какой-то момент возникает вопрос.

Мы все еще строим агента или уже внутри приложения пытаемся заново собрать операционную систему?

Возможно следующий этап это Agentic OS.

Причем не обязательно новая ОС вместо Windows или macOS. Скорее новый системный слой, в котором агенты становятся такими же базовыми сущностями, как сегодня процессы.

У такого слоя появляются Identity, Context, Memory, Permissions, Scheduler, Event Bus, Sandbox, Observability.

А приложения перестают быть просто интерфейсами, по которым агент пытается кликать мышкой.

Они становятся набором capabilities.

Установил приложение и система сразу понимает какие сущности в нем существуют, какие действия доступны, какие события оно генерирует и какие права для этого нужны.

Любой агент с нужными permissions может использовать эти возможности.

То есть не агенту нужно давать доступ ко всему компьютеру. Сам компьютер изначально становится средой исполнения для агентов.

Но тут есть еще более интересная мысль.

Возможно даже сам «агент» это временная абстракция.

Пользователь ведь не хочет запустить пять агентов. Он хочет сказать:

«Подготовь меня к завтрашней встрече».

А дальше система сама решает что для этого нужно. Найти встречу, поднять переписку, найти документы, запустить research, вызвать API, выполнить обычный код и собрать результат.

Где-то будет LLM. Где-то агент. Где-то workflow. Где-то вообще обычная функция.

Пользователю все равно.

Поэтому возможно центральной сущностью такой системы станет даже не Agent, а Task или Intent.

А ии-агент будет просто одним из способов выполнить задачу.
В таком случае сегодняшний хайп вокруг harness тоже выглядит немного иначе.

Harness скорее всего никуда не исчезнет. Но значительная часть того, что мы сегодня в него запихиваем, память, permissions, context, tools, sandbox, scheduling, lifecycle, может постепенно стать системной инфраструктурой.

И кажется первые признаки этого перехода мы уже начинаем видеть.

Тогда следующий большой вопрос уже не в том, кто сделает лучшего агента.

А кто построит среду, в которой все эти агенты будут жить.

Недавно пообщались с очень интересным гостем в рамках подкастов Cloud.ru, автор канала https://t.me/dealerAI - Александр Абрамов.

Человек, который шарит за AI.

https://youtu.be/gZKQEbYgnFw?si=UeImmZ02bj0jpA4X