Agentic World

Пост конференций и полезных ссылок

Конфы - я люблю. Послеживаю за расписанием на сайтике ebench - актуальность там оч хорошая.

Что будет в ближайшее время и где буду я:

Завтра будет Practical ML Conf от Яндекса - флагманская конфа про ML/AI. Конфу обожаю, это высочайший уровень организации во всем. 2 года назад я выступал в главном зале в прайм-тайм - рассказывал про то, как мы первые в РФ попробовали готовить и размечать данные через ллмки. Тогда это встречало умеренный скептицизм, сегодня так делают все. Там точно будет супер круто (хотя два года назад там вдруг резко закончилась еда, но я был в спикерской и там было очень по царски; но больше себе такого они не позволяли и в прошлом году был просто пищевой рай), но я на конфе в этот раз не буду, увы, у меня семейный праздник 🕺


24 сентября будет большая конфа Yandex Scale. Я на ней не буду (много работки), но зная масштаб, могу предположить, что будет очень круто и не назвать ее было бы неправильно.


3 октября выступаю на еще одной конфе от Яндекса - Я про бэкенд. Мне очень нравится эта конфа из-за ̶п̶а̶э̶л̶ь̶и̶ ̶с̶ ̶к̶р̶е̶в̶е̶т̶к̶а̶м̶и̶ очень удачного позиционирования - это не чистокровный ML со всякими grpo и видами аттеншенов, и не классический бэкенд, а про то, как их правильно соединять вместе, такой в хорошем смысле миддлвер. Перефразируя в шутку известный мем - "никогда не спрашивай бэкендера про энкодер с декодером, а млщика про то как поскейлить его модели". Здесь - решат и то и то! Начальник конфы очень хорошо подкрутил мой доклад, поэтому точно будет круто, приходите 👾


20 октября будет конфа от Онтико с говорящим названием "AI Native Conf" - про то, как меняется наша работа под воздействием AI. Будем искать вопросы на ответы о внедрении, агентном кодинге, построении харнессов и том, что же такое на самом деле AI First и AI Native. У этой конфы я в программном комитете, знаю внутрянку и то, какие баталии были про почти каждый отобранный доклад. Будет круто!


30 ноября и 1 декабря - культовый большой Highload++, где я теперь тоже в ПК по AI и где сам тоже буду выступать - рассказывать про внутренности кодинговых агентов.


+ вчера была Сберовская AI R&D Day, но она была вчера, а я работал, поэтому можно дождаться докладов оттуда, поэтому просто тегну главного по мл-хардкору там и паблик их команды


P.S.: рекламы нет, все только по любви ❤️

А теперь хотелось бы поговорить про важное в эпоху дизрапта разработки продуктов: про сквоттинг.

Сквоттинг - это самовольный захват "свободных" зданий теми, кто не является их владельцем. Часто это заброшки, которые возникают по разным причинам человеческой жизнедеятельности.

В моей глубоко обожаемой Латинской Америке сквоттинг очень популярное явление (что в Аргентине особо больно потому что сквотят красоту) и чтобы с ним бороться правительство даже блокирует входы и выходы зданий, чтобы их невозможно было занять. Потому что когда люди заселились - их не выгнать, потому что уже некуда. В юарском Йоханнесбурге местные мне показывали многоэтажки, которые угоняли у застройщиков целиком - это такой прям бизнес, когда опасные гангста угоняют чужой по паспорту дом и начинают распоряжаться им как своим и сдавать легальным съемщикам.

Причем здесь AI и агенты, могли бы спросить вы?

У скоттинга есть цифровой аналог - кибер-сквотинг, и который начинался ровно тем же, что и обычный. Но в итоге пошёл сильно дальше.

Расскажу историю первую.

Когда-то давно я сделал приложение для обоих мобилок про офлайн-карты - я попал в реальную боль и потому на него быстро полился органический трафик. За год я собрал примерно 100k скачиваний чисто на органике, но в какой-то момент понял, что юнит-экономика проекта беспощадно требует либо привлечения инвесторских денег для LTV, либо просто оставить все это без поддержки и наслаждаться прилетающими мини-выплатами на оплату сервака и немного пивка сверху.

Я забил на проект на пару лет, он просто крутился на серваке, потом случился ковид (кто-то помнит что это?), и я окончательно выкинул проект из memory. Прилетел счет на оплату домена, но я уже забил - кому он теперь был нужен.

Потом спустя несколько лет случились ллмки. Мне показалось свежей идея обновить аппку, и тут я обнаружил сквоттинг - домен, на который тогда лился трафик и который был лендингом и названием проекта - угнали. Ровно в тот момент, когда я забил на счет оплаты домена, на него не забил кто-то другой, кто внимательно его отслеживал. Это называется "drop-catching" или по крестьянски - перехват освобождающегося домена под выкуп.

Теперь у меня есть аппка, но нет домена. Киберскоттеры внимательно забирают все, что забрасывается, только делают это моментально. И их тоже не выпиздишь просто так - нужно договариваться, и часто чек на таких договорах перебивает все затраты на сквоттинг до него. Я знавал одного сквоттера в ру-домене - у него в жизни было все замечательно.

Если трафика не очень много или его сложно монетизировать (как с моей аппкой) - домен просто бесконечно продлевается пока владелец или кто-то не придут договариваться о его выкупе. Если трафик легкий - там поднимает аналогичный проект. Подмены из пользователей никто не ощущает.

Сейчас в эпоху агентов сквоттеры получили супер крутые инструменты, чтобы делать то, что они делают, но круче на пару порядков. Пылесосить домены, поднимать копии проектов, подкинуть сверху рекламного трафика и подавлять подзапущенные или набирающие популярность оригиналы. В эпоху агентов сквоттеры могут выкупить все самые интересные имена под любые продукты - и это огромная продуктовая проблема.

Что мы делаем, чтобы придумать название нового проекта? Правильно, идём в чатгпт/клода/гемини и перебираем варианты. Угадайте, кто ещё так делает? И почему найти нормальный домен для проекта становится все сложнее?

Благодаря агентам можно не просто анализировать взлетающий спрос на что-то, но и автоматом обмазывать возрастающие стартапы похожими именами и под них же мимикрировать, подливать на них трафик, поднимать копии проектов и долго паразитировать на этом. С агентами это теперь не стоит почти ничего и это уже делается.

А вторая история - про сквотинг и прямой взлом, но ее - чуть попозже!

P.S.: на фото - великолепный Буэнос-Айрес, я про него писал тут и тут. Если наберется 20 ноготочков в реакциях, то позволю себе посты только про свои путешествия (а я облетел весь мир и написал больше тысячи постов про это, но сюда писать про это стесняюсь🤩)

Про deep tech night

Конфа крутая! Собственно, как все tech-конфы Яндекса. Организация во всех смыслах топовая (на неработающее приложение, из-за которого я пропустил иммерсивную экскурсию, можно закрыть глаза). Очень крутой вайб, а экстраполису - гораздо круче быть развернутым во всю стену, нежели как обычно 😄

Однажды меня случайно занесло на чисто бизнесовую Я-конфу, и вот там-то я взгрустул, потому что со сцены спикеры со всей страны рассказывали про бороздящие космические просторы, а в кулуарах на вопросы о минимальных деталях под капотом отвечали «ой ну надо у наших инженеров спросить». Но без технички умудрялись насыпать такого, что хотелось восклицать «да что ж ты п%здишь-то» 🤣 Но там это привычная атмосфера 💼🕶️

А здесь - все было хорошо! Мы обязательно встретимся!

(для масштаба все фотки на 0.5)

Это я еду на «главную tech-конференцию Яндекса» (они сами в рекламе так писали) deep tech night. Она только по приглашениям, но меня позвали, и я в деле 😎

На конфу еду - правда, но фотка старая - сегодня как и всегда агенты пашут как не в себя, но в tmux+goal, поэтому можно будет спокойно покурить кальянчик и поесть паэльи на крутом мероприятии 😄

А если нет паэльи и кальянов, то зачем тогда ехать? Доклады чтоли слушать? 🧐

Это шутейка, конечно. Доклады бывают оч крутые! Один из таких крутых докладов я готовлю сейчас - для другой конфы Яндекса, которая называется «Я про бэкенд». Готовлю красоту про устройство поиска в кодовых агентах и планируется разъёб очень интересно. Бесплатно и без смс, паэлья в прошлый раз была!

У Яндекса, к слову, мероприятия очень крутые, 2 из 3 моих любимых - яндексовые. Посмотрим, что будет сегодня. Если в реакциях наберется 5 дельфинчиков - поделаю фоток внутри диптехнайта 🐳

Когда все-таки приехал в офис на встречу государственной важности, а там…
(кручу назад, потому что вперед накрутился, а из переговорок вид круче - прям на башни сити)

Кстати, езжу я обычно вот как на фотке 🤩🤩И мой любимый «индекс приоткрытых ноутбуков» в общественных местах не просто низкий, он равен нулю. Люди что, не знают про агентов?? 🤩

Стартуем неделю с крутейшей темы: глубокий разбор того, как работает текстовый вотермарк в Claude и ллмках вообще 🤩

Написал (тире перевел статью от Себастьяна Рашки) на тему того, как под капотом работает вотермаркинг контента. Упахался 🥹 Честно говоря, когда я про такое услышал год назад, мне показалось что это нереально. Но нет, великие умы придумали красивое и элегантное инженерное решение.

Если кратко, то работает оно вот так:

В текстах полно взаимозаменяемых слов: во фразе «завтра первый день осени и это грустно» вместо «грустно» модель с почти равной вероятностью могла бы поставить «тоскливо» или «печально» или целый набор нецензурных аналогов👺 - для читающего смысл не меняется.

Вотермаркинг делает выбор между такими равнозначными вариантами не чисто случайным, а подкрученным секретным ключом. И благодаря ему же потом можно сделать детекцию - без вызова ллмки.

Но я очень рекомендую прочитать (форвардить и шарить!) целиком статью, вотермаркинг скоро будет, судя по всему, у всех фронтирный моделей 🤩🤩

https://habr.com/ru/articles/1076018/

Сейчас немалую часть времени я живу за городом, и у этого бесконечное количество плюсов, но последние три недели появился совсем жирный минус.

Это внезапно - KV-кэш! 🤩

Я сейчас всё объясню.

Когда я отдыхал на Карибах на Maho Beach (это пляж в 5 метрах от аэропорта с самым низким заходом на посадку больших самолетов в мире) я в своем тревел-бложике писал, что мне нравится просыпаться от звука моторов над головой. В 2026 году могу сказать, что надо быть поточнее в своих желаниях 🤩🙂

От того, что вокруг летает всякое разное, здесь, хоть это и ближайшее Подмосковье в 50 мин езды от центра, периодически глушат не просто связь, а ВСЁ. Звонки, смски от банков, мобильный интернет целиком, а недавно начали пороть даже проводной интернет - причем самым неприятным способом, например, подавляя лишь часть трафика UDP случайным образом. Не работает периодически, волнами, с нулевым пониманием когда это случится и когда отпустит.

С тем, что пропадает доступ (или целиком надолго отваливается) к AI-инструментам, можно справляться следующим образом: правильнее формировать приоритеты, писать хорошие спеки/PRD и пускать /goal (здоровья и счастливой жизни тем, кто это придумал и зарелизил!) в tmux на своем барике или квм. Работает как родное!

Но мой харнесс настроен таким образом, что после goal-задач (или просто продолжительных), он делает глубокий рекап - и детально расписывает что сделал, почему так, какие решения принял, что увидел по дорожке и так далее. Я все это внимательно читаю, и потом где-то возникают доделки, вопросики или уточнения.

И вот тут-то и вылезает KV-проблема. Как мы прекрасно знаем, любая ллмка - стейтлесс, а то, что она понимает продолжающийся диалог - держится на пересылке ей всей истории каждый раз. Это было бы очень дорого, если бы не KV, который каждый раз кэшит уже отправленную часть, поэтому при отправке новой фразы мы получаем кэш-хит, фактически платим только за нее и это стоит нам дешево.

Но чтобы случился кэш-хит, нам надо чтобы этот кэш был. А живет он очень непродолжительное время. Гораздо меньшее, чем успевает восстановиться тот самый коннект, который периодически отваливается 🥹 И получается, что у меня есть несколько сессий на 400-500k токенов, мне в них надо что-то немножко поправить, но дальше случается вот что:
• 500k токенов
- пишу новое сообщение
- оно не долетает и уходит в ретрай
- когда долетает ретрай - кэша уже нет и чарджат по полной стоимости
- ответ начинает генериться, но я не успеваю получить потому что связь пропадает снова, все снова уходит в ретрай
- ретрай снова влетает в кэш-мисс
....
Please wait for your weekly limit reset.

Вот это прям по настоящему бесит! 🤣🤣 Ну а в остальном - AI Agents At Work и Show Must Go On!

С пятницей! 👍🤩🤩

Сегодня пятница, но вечером и на выходных мы будем делать то же, что с блеском делаем каждый день после ноября 2025 года 😄

Агенты, терпение и презентации директорам

Агентов сейчас делают все. Проблема тут в том, что между этими "агентами" часто лежит инженерная пропасть: у одних - эвалы, скиллы, оптимизации kv-кэша и хорошее понимание лупов и тд, другие до сих пор кидают zip с документами в ллмку (реальный случай), получают ничего и потом жалуются начальству, что "им бы claude, без него не заведется, тогда-то заживем!".

Но по факту снаружи - и там и там агенты. И там и там - "ну, конечно у нас агенты, ребята занимаются".

И вот эту пропасть часто средним и большим начальникам объяснять сложно, ведь у них уже есть агенты. Причем забавно, что это не объяснишь именно средним-большим начальникам: обычному директору по чему-нибудь или человеку с должностью CPO или даже CTO. Самые большие боссы (если там не самодур, что тоже часто бывает) при этом могут понимать ллмки и процесс получше многих инженеров.

Есть главный лайфхак: если не просят, то и не надо 💁

Если тебе хвастаются мультиагентной системой (или просят такую сделать), которая раскладывает почту по простым правилам, и не спрашивают при этом твоего мнения про архитектуру/целеполагание - да и не надо его высказывать. Даже если там полная херня и даже если ты будешь чертовски прав, а они нет. Это никому не нужно, никому ничего не докажешь, а людей придется расстроить. Это никто не любит.

У меня есть любимый пример: к нам пришли за АГЕНТОМ, чтобы он наконец-то убрал очень старую боль по небольшой задаче юристов. По факту там завелись подряд 15+ регулярок, но это "решение" у них получило кодовое имя "AI-агента".

- У вас есть AI-агенты?
- Дада, у нас уже во всю работает, мы довольны

Это был первый в мире AI-АГЕНТ, который работает вообще без ллмки! 🤩

Если вы говорите с человеком на другом уровне понимания, а человек не пытается разобраться и не челленджит конкретным функционалом и требованиями, просто окните и все. Боль ушла? Ушла. Все довольны? Все. Агент? Агент! 🥹🦾🤖

Про сам СберУниверситет. Он крутой!

На самом деле, в этой библиотеке из предыдущего поста немалое количество классных книг на самые разные тематики. И всё сделано ну очень приятно. 

Книжечки - лишь маленькая часть огромной махины под названием СберУниверситет - корпоративного университета Сбера. Я был в нем однажды на курсе по лидерству, а сейчас два дня читал лекцию про агентов для топ-менеджмента одного из дивизионов.

Университет прямо хорош: потрясающе красивый, все очень круто, атмосфера такого, как бы, курорта, но в то же время за каждым из столиков не потягивают мохито, а обсуждают какие-то дела по бизнесу, фасилитации с финтехами, эйяй и что-то про менеджмент. В ощущении курортности, конечно, сыграла свою роль погода, но все равно.

Шведский столик, за завтраком все уже обсуждают дела, какие-то встречи, созвончики и вот это все. Номера чистые аккуратные, есть басик и многое для спортактивности, но ландшафтный дизайн заслуживает просто космической оценки (как владелец загородного поместья, знаю как это дорого и требовательно) - за ландшафтку снимаю шляпу 🎩🌳

Но вот контент на курсе так себе - кто-то из спикеров путает дистилляцию и прунинг или считает, что в мире всего 6 фундаментальных моделей, у кого-то просто зашкаливающее самомнение или устаревший контент. Собственно, подправлять его меня и вызвали. Справился! 🤙