Илья Филиппов

🤖 Разработка без разработчиков? Пока все наоборот

Друзья, привет, я с хорошими новостями!

Записали новый выпуск 2ТОК об агентной разработке. Вместе с Ильей Филипповым поговорили с Рафаэлем Тонаканяном, руководителем AI-трансформации производственных процессов Сбера, и Валерием Ковальским, директором по искусственному интеллекту red_mad_robot, автором канала NeuralDeep, о том, что уже происходит внутри ИТ-команд и как меняются процессы разработки.

Основной вывод: ИИ ускоряет написание кода, но сам по себе не ускоряет компанию. Если аналитика, безопасность, релизы и принятие решений остались прежними, то стократное ускорение кодинга просто упрется в старые процессы. «Бутылочное горлышко» смещается в сторону менее производительных процессов.

Вот что зацепило больше всего:

• Разработчиков пока не становится меньше. Объем кода и других артефактов растёт, а значит, их всё ещё нужно проверять, встраивать в архитектуру и обеспечивать работоспособность в продуктиве. Эффект появляется не от сокращения людей, а от большей бизнес-ценности команды.

• Считать надо не строки кода и не часы. В качестве рабочей метрики мы обсуждали число пользовательских историй, выведенных в продакшен на одного человека. В приведённом примере показатель вырос с 2,2 до 2,9 в месяц без роста затрат для бизнеса.

• До зрелой агентной разработки дошли немногие. По оценке Рафаэля, только около 15% пользователей применяют навыки, MCP и агентные workflow, а не просто общаются с моделью или используют режим планирования. Инструмент купить легко. Перестроить метод разработки, обучить людей и изменить модель ответственности намного сложнее.

• ИИ быстро выявляет неэффективность процессов и неактуальность данных. В эксперименте со Spec-Driven Development (методология разработки программного обеспечения, при которой создание детального файла-спецификации предшествует написанию любого программного кода или его генерации с помощью искусственного интеллекта) среднее потребление токенов выросло примерно в 2,5 раза, а у отдельных команд - до 500 раз. Причина оказалась не только в моделях: команды начали скармливать агентам старый бэклог, на который раньше не хватало ресурсов. Выяснилось, что задачи из этого бэклога уже не актуальны. Автоматизация не лечит плохую гигиену процессов - она масштабирует её.

• И отдельный важный вывод для джунов. У них не исчезает вход в профессию - наоборот, появляется шанс быстрее стать заметными. Пока многие опытные специалисты держатся за старое разделение труда, новичок может с помощью ИИ собрать решение целиком, быстро переключаться между контекстами и нестандартно закрывать задачи. В ближайшие несколько лет гибкость может оказаться важнее узкой специализации.

Ещё обсудили tiny teams, безопасность, исполняемые спецификации и роль человека-оркестратора.

По мне получилось просто 🔥🔥🔥

Смотрите там, где удобнее: YouTube · VK Видео

А вы уже измеряете пользу ИИ через бизнес-результат или пока через количество сгенерированного кода?

#2TOK

💬 ген ии | MAX

Всем привет, поговорили с Альбиной Мунировой из Т-технологий про AI-adoption и вообще про ИИшку в бизнесе.

Посмотреть можно тут: YouTube • Apple Podcasts • Spotify • Yandex Music

Tiny Teams: логично, но пока не сходится

Последние недели думаю про Tiny Teams и никак не могу определиться со своей позицией.

В мае Сбер презентовал AI-Disrupt PDLC , кстати кто не читал - рекомендую. Там есть раздел как раз про это: команда из 3–6 человек, которая владеет всем циклом и оркестрирует агентов вместо того, чтобы писать код руками. Роли перемешиваются, объем разработки растет. Все на бумаге логично. И я лично верю, что это может сработать.

Но вот из-за океана пришли такие новости. Reuters провело некое расследование по деятельности Цукерберга. Meta* стартовали этот процесс раньше и уже видны первые результаты. Продуктовые команды по 10–20 человек превратились в поды по 3–5. Внутренние цифры: изменений в код +220% год к году, а до пользователя дошло +36%. Инциденты +40%, времени на их разбор +70%. Ноябрьскую волну сокращений отменили. Цукерберг по инсайдам сказал, что агентная разработка за четыре месяца не ускорилась так, как рассчитывали.

И тут еще вот на что обратил внимание. Сбер в документе прописал четыре условия, без которых Tiny Team не бывает: зрелая платформа, библиотека паттернов, методика валидации без ручного ревью каждого изменения, работающий ADLC. И если у кого-то в мире и были шансы собрать все четыре, то у Meta*. Своя платформа, свои модели, культура evals, лучшие инженеры, деньги. И всё равно пока не получилось. Значит нужно что-то еще.

Еще интересно, что на пилотах у Meta все сходилось. Были прямо собраны несколько подов из 2-3 инженеров и все получилось. Но, деталь, это было добровольное участие и, соответственно, инженеры были сверхмотивированными энтузиастами.

Может это секретный соус, что думаете?

* Meta Platforms Inc. признана экстремистской организацией, её деятельность на территории РФ запрещена.

Всем привет, что-то не было времени на канал на прошлой неделе, а у меня сразу несколько нвостей:

1) Daisy Teams
Мы выпустили версию Daisy для B2B. Идея простая: вместо того, чтобы каждый сотрудник свободно жёг токены на GPT и других моделях, задаём лимит и получаем предсказуемую экономику вместо непредсказуемого счёта в конце месяца. Ну и guardrails настройки для админов, куда ж без них.

2) Новый выпуск подкаста. В гостях - Алёна Владимирская, один из ведущих экспертов по найму в России с 20-летним опытом, и Александр Крайнов, директор по искусственному интеллекту в Яндексе.

3) Ну и в начале сентября очень ждем новый релиз red_mad_router, который откроет возможность потреблять токены не только корпам как сейчас, но и по сути любому физику или небольшой компании. Self-service так сказать)

Забыл тизер прикрепить...

Всем привет!

Мы с Лешей Сидорюком и нашей командой red_mad_robot запустили подкаст, где хотим поговорить с реальными лидерами по ИИ в России о будущем технологий, индустрий и, самое главное, о том, как это повлияет на людей.

Это была большая работа, мы старались) поэтому посмотрите и дайте знать, что было бы круто улучшить и кого еще пригласить к нам. Хотя список уже обширный, я его нарочито не буду раскрывать - так интереснее.

Идея подкаста в том, что в каждой теме 2 гостя: один глубоко из ИИ сферы, а второй как бы предстваитель индустрии или тематики о которой говорим. Так можно сравнить как технология создается и как реально применяется. И отдельно к чему это все приведет в ближайшее время.

Первый эпизод про искусство уже тут YouTube и в VK - приятного просмотра. И как нас учит маркетинг: "Ставьте лайки и подписвайтесь"😃

▶️ИИ без иллюзий. Разговор о новой эффективности, бизнесе и будущем человека.

Какие задачи уже можно делегировать нейросетям? Почему компаниям недостаточно купить доступы к AI-сервисам и провести обучение? И какие специалисты останутся востребованными в новой экономике?

В новом выпуске подкаста «Антихрупкий лидер» говорим с Ильёй Филипповым - CEO red_mad_robot AI, экспертом по AI-трансформации, интеллектуальным агентам и внедрению GenAI-решений в бизнес.

Обсуждаем, как перейти от обычного чата с нейросетью к персональным ассистентам и агентам, почему качество результата AI зависит от экспертизы человека, где компании закапывают деньги при внедрении искусственного интеллекта и может ли технология заменить руководителей.

💡 Вы узнаете:
1️⃣Какие уровни зрелости проходит человек — от простых запросов к AI-агентам и собственным скиллам.
2️⃣Почему искусственный интеллект усиливает сильного специалиста, но не компенсирует отсутствие профессиональной экспертизы.
3️⃣Что нужно изменить в компании, чтобы внедрение AI принесло бизнес-результат, а не закончилось пилотами и презентациями.
4️⃣Какие ошибки совершают компании, инвестируя в инфраструктуру, модели и корпоративных AI-ассистентов.
5️⃣Какие профессии и навыки будут востребованы — от узкой экспертизы до коммуникации, партнёрства и умения принимать решения.

📲 Подписывайтесь на канал Ильи Филиппова: https://t.me/filippov_GenAI

💬 Задавайте вопросы в комментариях, подписывайтесь на канал и ставьте лайк, если выпуск был полезен!

YouTube

Vk

Rutube

Поучаствовал на этой неделе в подкасте Иры Золотовой Антихрупкий Лидер - пообсуждали AI простыми надюсь словами, закину ссылочку как все выйдет )

Сколько на самом деле стоит 1M токенов на своём железе

Сделал калькулятор того, как стоимость своего GPU переходит в себестоимость токенов.
Оказалось, что достаточно нетривиальная задача, тк челленджит все знания об LLM: как работают слои, чем MoE отличается от dense, как устроен KV cache. В общем обновил по пути все свои знания GenAI. Понятно, что куча допущений внутри, а параметры собирал Fable, надо тестировать на реальных серверах, но это может быть отправной точкой.

Что по выводам?

• Строить или покупать — это вопрос утилизации, не технологии. Сможет ли сервис создать высоукую утилизацию сервера и есть ключевой вопрос.
• MoE — скидка на скорость, но не на память. Кол-во активных параметров 3 млрд из 35: карта пишет быстро, но веса лежат целиком. Отсюда контринтуитивный результат: большие MoE модели на дешёвых картах — экономически лучшая пара, пока хватает VRAM.
• ROI-ловушка. 390% годовых и выше работает при УЖЕ НАЙДЕННОМ спросе; поиск клиентов, SLA, биллинг в модели не учтены. Поэтому супер важно обеспечить потребление, а не накупить дорогих игрушек.

Скачивайте, подставляйте свои данные и посмотрите себестоимость. Найдете ошибки - дайте знать)

Илья Филиппов

Долг под ИИ удваивается за год — и это только начало

Наткнулся на новость о том, что Morgan Stanley прогнозирует «почти $570 млрд»долга, взятого под AI, в 2026 году.
Когда постоянно читаешь про SpaceX и прочие триллионные штуки, такие цифры уже не так приковывают внимание. Но, с другой стороны, это примерно годовой бюджет РФ или Германии.

Тут ещё важна скорость, с которой этот долг растёт. На конец мая фактическая цифра уже была $236 млрд, а это 4х от того же периода в 2025-м.
Выглядит всё надёжно и красиво: занимают топ-имена в индустрии — Amazon, Oracle, Microsoft и т. д. Но на деле это компании — генераторы cash flow, зачем им именно долг? Затем, что стройка дата-центров съедает уже почти весь операционный кэшфлоу (против ~40% исторически), а долг, в отличие от выпуска акций, не размывает акционеров.

Далее начинается самое интересное: neocloud'ы финансируются под залог самой инфраструктуры (дата-центры и железо в них). А железо амортизируется быстрее длинных бондов, обесценивая залог. Всё это работает, пока GPU и компоненты всё время дорожают, так как спрос огромен, но это пока...

И вишенка: investment-grade бонды с наивысшим рейтингом попадают во все ключевые индексы, а значит, их покупают пенсионные фонды, ETF и другие пассивные механизмы. Кто смотрел Big Short?))

Кажется, на тему финансов и железа нужно внимательно смотреть, и не только глазами бюджета, комплайнса и других корпоративных вещей, но и как на один из будущих глобальных рисков системы.

AI-агенты окружены огромным количеством мифов. И один из главных — что основные расходы связаны со стоимостью самой модели.

Наши коллеги уже развенчали этот миф: «Оценка эффективности агента может стоить как сам агент».

Но это не значит, что оценку можно отложить. Ее нужно встраивать в проект с первого дня.

Обсуждаем с Ильей Филипповым, CEO red_mad_robot AI, как приручить дракона и выстроить оценку эффективности, сделав ее частью системы.

❓Кто внутри компании «владеет» агентом — и платит за анализ эффективности

Обычно владелец агента — лидер бизнес-функции, которая отвечает за конкретный процесс и его P&L. HR-агент — у HR-подразделения, агент службы поддержки — у команды поддержки.

При этом почти всегда есть представители ИТ: они выступают техническими владельцами и отвечают за работу в продакшене.

Но оценивать бизнес-эффективность будет, конечно, бизнес. Потому что именно он получает экономию (или не получает).

❓ С чего начать оценку и на какие метрики равняться

1-й слой оценки — accuracy
 
Это базовый критерий допуска системы к использованию. Если показатель ниже нужного порога, агента нельзя выпускать в процесс. При этом для разных процессов этот уровень будет своим. Но требование по точности хотя бы на валидационном датасете — это порог допуска ко второму слою.
 
2-й слой оценки — TCO (совокупная стоимость владения)
 
В него входят разработка, инференс, интеграции, поддержка, мониторинг и, главное, ревью человеком. Бывает, что классные результаты достижимы только на дорогих облачных моделях или на моделях, которым требуется дорогое железо. Это нужно считать прямо на старте.
 
3-й слой оценки — экономия и доходы

Это высвобожденное время в FTE, стоимость одного обращения или операции до и после внедрения, прирост пропускной способности, сокращение цикла и влияние на выручку через конверсию и удержание.

А как же ROI?

ROI — понятная и точная метрика, но на первых этапах ИИ-проектов её часто сложно измерить, поэтому начинать лучше с другого.

❓К чему нужно быть готовым — «подводные камни» подсчета эффективности

Один из главных — нелинейные эффекты.

Например, банковская операция из-за множества проверок документов занимает два-три рабочих дня.

На рынке все участники предлагают примерно такой же срок.

Проектируем систему, которая почти мгновенно проводит основные проверки и передает человеку уже подготовленный результат на проверку. Общее время операции сокращается до двух-трех часов.
 
С точки зрения экономии в FTE и TCO такой агент может не окупиться.
 
Но банк за счет скорости выходит из «кровавого океана» одинаковых сервисов и предлагает рынку уникальную по скорости услугу.
 
Результат — прирост новых клиентов и рост NPS текущих.
 
Но такие вторичные эффекты уже сложно считать и обосновывать на уровне бюджетов. Поэтому подобные проекты чаще реализуют лидеры с более визионерской позицией: они смотрят не только на прямую экономию, но и на то, как ИИ может изменить саму логику сервиса.

#голос_AI
Подписывайтесь на AI Inside в Max | ВКонтакте

ИИ-агенты заходят в бронирование: рассказали Forbes, что это значит для рынка

«Туту» открыл поиск и бронирование поездок через ИИ-агентов. Для сервисов это ранний тест нового канала дистрибуции: пользователь формулирует намерение в диалоге с помощником, а платформа получает шанс подключиться к нему до перехода в привычный интерфейс.

Если ИИ-агент станет точкой входа в выбор поездки, сервисам важно быть доступными для него технически и коммерчески. В моменте трафик из таких сценариев, скорее всего, будет небольшим, но для бизнеса это работа на будущую позицию в цепочке принятия решения: кто окажется ближе к моменту пользовательского намерения, тот и получит преимущество в агентной коммерции.

Илья Филиппов, CEO red_mad_robot AI

При этом есть техническая сторона: сам поиск через агента уже знаком рынку, поэтому важна глубина MCP.

Browser use у агентов существует около полутора лет: сильные модели уже умеют открывать сайты, обходить защиты через прокси, делать скриншоты и доставать релевантную информацию. Поэтому поиск сам по себе рынок не удивит. Главный вопрос — позволяет ли MCP дойти до оформления заказа.

Сейчас агент может довести пользователя до собранного заказа, но финальную оплату человек подтверждает сам — это агентный поиск и сборка корзины, но ещё не сквозная покупка. Настоящим переломом станет момент, когда MCP позволит закрывать и оплату.

Валера Ковальский, руководитель ИИ-направления red_mad_robot

↗️ red_mad_robot

От промптов к loops

Поигрался чуть-чуть с Fable 5 — и поймал себя на мысли, как быстро сменилась парадигма. Сначала мы все писали промпты. Потом строили агентов. Теперь нам Антропик советует создавать loops — петли, в которых модель сама себя корректирует.

Что понимается под loops?
Вместо того чтобы «рулить» моделью вручную, эффективнее дать ей среду с обратной связью. Задаёшь цель и рубрику с проверяемыми критериями — агент работает, сверяется, корректируется и продолжает, пока критерии не выполнены.

Ключевой нюанс (по мнению того же Антропика) — кто судит. Самокритика у моделей работает плохо: отдельный verifier-агент с независимым контекстом стабильно обыгрывает self-critique. Не просить модель «проверь себя», а отдать независимого оценщика,

Еще приём — память как петля поверх сессий: модель фиксирует ошибки, разбирается в причинах, дистиллирует их в правила и переиспользует. Старшие модели проходят этот цикл целиком — получается самообучающаяся база знаний агента.
/goal уже использую, с остальным буду играться дальше)

Какой вывод?
Эволюция продолжается: prompt engineering → agent engineering → loop engineering. И выигрывать будут те, кто раньше научится проектировать такие среды) и старое доброе - у кого лучше данные)

Валера зарелизили очередную версию https://hub.neuraldeep.ru/ - теперь можно на локальных серверах делать классные штуки по подписке. PRO users go пробовать)

AI в разработке ПО

Модерировал сегодня дискуссию про ai разработку. Был очень сильный состав спикеров из сбер-а, Т1, Vk tech, Positive Technologies, ГПН. И вот что я скажу, поезд не просто уходит, а мчится на полном ходу:

1) Все уже шагнули в AI разработку. Чувствую по вопросам, уже не говорят об экспериментах, говорят об эффектах. Думают плотно не над вопросами кода, а про spec driving development, замену аналитиков, напряжение продактов - это маркеры, что уже все это не теория, а компании реально применяют.
2) Заказчики уже видят удешевление стоимости разработки от поставщиков.
3) Уже есть метрики, прежде всего увеличение кол-ва сторЕй в единицу времени. Сбер фиксирует кратный рост объема потребления токенов агентами разработки.
4) Vk зафиксировал метрику 1 QA на 10 разработчиков - как меру эффективности последних.
5) У всех уже развернуты квены и другие ЛЛМ для целей разработки.

То есть SDLC уже очень поменялся с ИИ.

PS если у вас в компании пробовали что-то пол года назад и отрезали не получив эффектов - срочно пробуйте снова!

red_mad_router

Делюсь новостями; Мы запустили (на самом деле достаточно давано, но на этот раз публично) платформу для управления LLM в бизнесе. Доступ к множеству моделей как в облаке так и on-premise.

Как часто бывает, мы делали для внутренних целей и для своих продуктов, а потом клиенты попросили вывести и для них.

Инференс

Компании в РФ, кажется, проходят путь от вопроса как внедрить AI, к вопросу как его оптимизировать. А если конкретно, как сделать оптимизацию инференса.

Подходов достаточно много как на уровне каждого конкретного pipeline, так и на уровне железа. Например, часть операций делать на легкой модели - часть уже отдавать в дорогую трилионную. Идут эксперименты с китайскими картами, правда, пока прямо success strories не видел.

Из бизнесового, мне очень нравится кейс Dystil AI - ребята высаживаются в enterprise небольшой супер продвинутой командой и выжимают экономию OPEX.
Также всем советую обратить внимание на их research и opensource вещи. Недвно выложили репу с оптимизацией промптов, правда мы пока не тестили.

Забудь про MCP и tools — конвертируй 100 000 API методов в один CLI инструмент на лету

Все сейчас пишут MCP-серверы и tools для агентов
На каждый API endpoint — отдельный tool с описанием, параметрами, схемой
10 методов? Ок
100? Уже больно
845 (GitHub API)? Удачи (да да можно делать поиск и тулов и MCP) но какой же это зоопарк и как его поддерживать?

Но так же мы поняли новый тренд это cli обертки
От сюда мы с @evilfreelancer пошли другим путём: берём любой OpenAPI spec (JSON/YAML) и конвертируем его в CLI команды на лету Без кодогенерации.
Без компиляции
Один бинарник — любое API

Что это даёт:

→ ocli search --query "create pull request" --limit 5 — BM25-поиск по 845 эндпоинтам за 7мс
→ ocli search --regex "repos.*pulls" — regex по путям, именам, описаниям
→ Несколько профилей одного API с разными наборами эндпоинтов (include/exclude)
→ Несколько API серверов в одном инструменте

Почему CLI, а не MCP tools для агентов?

100 MCP tools → ~50 000 токенов на описания в контексте
100 CLI команд → 1 tool "execute_command" + поиск нужной команды

Объективно я счита что агентов больше таскают команды вызвать, нежели разбираться с тонне контекста tools

Агент вызывает ocli search, находит нужную команду, выполняет её
Один tool_exec вместо тысяч
Контекстное окно свободно для работы, а не для описаний инструментов.

Сделал быстрый тест на реальных API:
- GitHub API — 845 endpoints, 11MB spec, JSON
- Box API — 258 endpoints, YAML

BM25 поиск — порт из Go (picoclaw) на TypeScript с Robertson IDF smoothing.

npm install -g git+https://github.com/EvilFreelancer/openapi-to-cli.git#feat/command-search

ocli profile add github

ocli search --query "upload file" --limit 5

GitHub: https://github.com/EvilFreelancer/openapi-to-cli