[38/100] Витя Тарнавский

Рынок активно обсуждает утёкший ценник на AI-сотрудников от OpenAI.

$10k/mo за разработчика
$20k/mo за PhD-level research

Очень дорого, если сравнивать с моделями. Но если сравнивать с людьми, становится лучше: разработчик для компании по миру примерно так и стоит, при этом у него есть обед, work-life balance и весеннее обострение.

Мне очень нравится что OpenAI этим ценником делают заявление: работу AI-работников нужно сравнивать с работой людей. Ребята не размениваются на мнения, ребята показывают как будет выглядеть рынок. Devin за $500/mo уже выглядит дешевкой.

На самом деле, "AI Worker" это другой тип работника и в реальной жизни они скорее будут дополнять людей. На таких воркеров пойдет вся рутинная работа, это такие интеллектуальные 24/7 рабы.

Вопрос, как обычно, получится ли этим агентам давать результат сравнимый с такой стоимостью. Пока что агенты явно не там. Посмотрим что будет через год.

В следующем сезоне ждите: Профессионалы интеллектуального труда устраивают забастовки против AI-агентов

Яндекс потихоньку отжал уже 67% поисковой доля в России.

Рынок классического поиска довольно удивительный. Качество продукта почти не помогает перетягивать аудиторию. Это война за поиск по-умолчанию на устройстве или в браузере. Людям, к сожалению, не так важно какой у них поиск, если он базово «нормальный».

Гугл потихоньку умирает, так как в привлечение не вкладывается. Напомню, там нет рекламы! Как видим, это не так уж и важно для пользователей.

66% это почти монополия. Это не очень хорошо: стимулов расти продуктам будет ещё меньше. Если посмотреть в прошлое, и Google и Yandex очень много сделали чтобы себя улучшить в своей конкуренции. Раньше у Google была большая команда в Москве, я был у них в офисе.

Часть трафика поиска оттекла в маркетплейсы. Чайники уже в поиске не ищут. Почему-то принято считать что это "смерть поиска", хотя на самом деле это только один из срезов. Когда-нибудь человечество придумает лучшие способы искать информацию для всех категорий, но пока что baseline в виде поиска в-основном побеждает.

Ответ может лежать в новых GPT-like поисках. Я мечтаю что появится аналог Perplexity но для поиска решения твоей задачи, т.е. поиска бизнеса/исполнителя. Сейчас эти задачи решаются ну очень плохо - что поиском, что картами. Тогда есть шансы поколебать классический поиск в важных для него нишах.

Но пока что весь этот GPT/Perplexity/Нейро на рынки поиска не влияет никак - что в мире, что в России.

Проблема поискового оркестратора в Perplexity

Когда человек приходит в поиск с вопросом про погоду, он ожидает быстрый ответ. Не нужно разворачивать всю мощь лучших в мире LLM, парсить на лету 200 источников, делать три слоя реранкинга и ещё черт знает что. Это займет кучу времени.

Искусство понять сложность запроса, правильно выбрать из систем разной сложности и профиля, и собрать правильный каскад из систем - это задача оркестрации запроса. Она же - задача роутинга, она же - задача метапоиска. Одна из самых интересных задач в IT-инженерии.

CEO Perplexity Aravind Srinivas рассказывает в подкасте что самая сложная задача которую они сейчас решают это именно проблема оркестрации и создания правильного набора систем за оркестратором. С его слов, кто решит эту проблему в новом LLM-мире, сможет построить следующий Google.

Я помню свой разговор с одним из основателей ABBYY. Он рассказывал что их ключевой ноу-хау это не сами OCR-модели, а как раз правильный каскад из моделей. Лёгкая модель определяющая задачу, дальше в зависимости от результата выбор из путей, и так до 50 разных моделей в каскаде.

В текущих AI-системах вроде ChatGPT эта проблема тоже плохо решена. Пользователю самому приходится решать "достаточно ли моя задача сложная для o3 или можно в 4o сходить". Это, конечно, неудобно.

Кстати, рекомендую и конкретный подкаст, и всю серию подкастов How to Build Future от Y Combinator

Про подписку на ChatGPT

Сейчас уже каждого уважающего себя человека из digital есть подписка на OpenAI. Некоторые платят и по $200 в месяц.

Подписка «на AI» претендует стать «дефолтной» подпиской современного человека - как на музыку, видео и так далее.

Теоретически, это рынок на миллиард (!) платящих подписчиков - примерно столько в сумме у всех музыкальных сервисов.

OpenAI имеет 2 миллиона платящих подписчиков сейчас (src). Это уже 1% от Spotify.

Но это если у обычных людей реально найдутся каждодневные задачи для такого компаньона. Это не факт - возможно, людям внешний интеллект не так уж и нужен.

Еще одна альтернатива - рекламная модель «как в поиске». Я надеюсь что так не будет, иначе это будет компаньон подталкивающий тебя в услуги более платящего рекламодателя.

Интересно что раньше такого рынка в принципе не было, а теперь есть. Через такие новые рынки растет мировая экономика.

Привет, я Витя Тарнавский, директор по ИИ в Т-Банке.

Давайте-ка расскажу зачем вообще нужен директор по ИИ. Я себе сам частенько задаю такой же вопрос 😅

Я разделяю свою работу на такие столбы: технологии, внедрение, платформа, пользовательский опыт.

Технологии - это как сделать так чтобы лучшие технологии в индустрии были у нас. Для этого нужны топовые инженеры, конкретные RnD проекты, команда мотивированная на новизну, наука и так далее.

Внедрение - это как получить пользу от AI везде в компании. Для этого нужно обучать людей, строить команды под бизнесы, тащить руками самые большие ключевые проекты и искать новые большие темы.

Платформа - это как сделать из AI-решений переиспользуемую платформу, а не набор кастомных штук. Понятно, что синтез речи проще сделать один раз - но само это так не произойдет.

Пользовательский опыт - это как менять пользовательский опыт продуктов экосистемы за счет решений на базе AI. Наша сфера новая, и обычно задача как улучшить за счет AI пользовательский опыт - тоже на нас.

Вот, хожу эти четыре задачи по кругу делаю. Если упрощать :)

Яндекс выпустил YandexGPT 5 Pro

Ребята написали подробную статью на Habr про реализацию. И даже выложили 8b претрейн в опенсорс.

Внимательный читатель может прочитать что ребята решили все-таки бросить затею обучать модель с нуля и инициализируют свой пайплайн весами от Qwen-2.5. Ну и правильно, бессмысленная трата денег. upd: только для большой модели

Замечу тут что это не файнтюн, ребята делают полный цикл обучения модели, но стартуют претрен этап не с нулевых весов. Собственно, похожий подход применяли мы в своих моделях T-Lite / T-Pro.

По выложенным бенчмаркам какие-то прям выводы делать сложно - вроде модели хорошие. Тут главное чтобы в продуктах классно работало (Алиса поумнеет наконец?) и b2b-пользователи довольны были.

Поздравляем!

Вот сидишь такой думаешь «ну что эта машина может», кидаешь картинку, а там как будто автогонщик на телефоне 😳

Мощь картиночной модальности у 4o как-то незаметно для меня проскочила.

Кто такие эти ваши AI-агенты

Начинается бездумный хайп вокруг AI-агентов. Я уже видел как некоторые компании ставят цели своим юнитам в духе "срочно проинтегрировать 10 AI-агентов" 🥴

Давайте немного разберемся что же такое агенты.

Существует два определения агентов - профессиональное и наивное. Оба сейчас широко используются. Оба в каком-то смысле верные.

Профессиональное определение берет свои корни в душных книгах по CS.

Я его суммаризовал примерно так:

AI-агент — это автономная система, способная решать сложные задачи требующих планирования и выполнения действий, с конкретной целью, но без заранее заданных инструкций.

То есть, это конкретный класс технических систем. Примерно такой смысл поддерживают Google, AWS, Github, OpenAI и так далее.

Наивное определение берет начало в обсуждениях в твиттере. Звучит примерно так:

AI-агент — это интеллектуальная система которая автономно выполняет конкретную задачу.

Например, саммари моей почты по утрам по такому определению тоже вполне себе агент. Там нет ни планирования ни инструментов, но это не очень важно - единица работы реально выполняется, интеллектуальная головная боль передана автономной системе.

Первые - очень сложно строить и работающих at scale агентов почти нет. Вторые - отлично существуют уже какое-то время.

Я надеюсь эти термины просто разойдутся по углам, потому что профессиональное - про инженерию, а наивное - про применимость решений. Но пока что всё в кучу.

А Le Chat хорош 🥐

Сделайте уже кто-нибудь гарнитуру с LLM, я вас умоляю!

Чтобы в ухе всегда была мощь лучших моделей и тулов, но чтобы не мешала говорить с людьми. Примерно как старые гарнитуры типа Plantronics были - просто на ухе висит, не мешает, звук пропускает. В них можно было сутки проходить и не заметить.

Nothing сделали подход к снаряду. Но сложновато настраивать и работает нестабильно. Как я вижу, упирается это в возможности платформ (iOS, Android) - при этом сами платформы как обычно тормозят и ничего не выпускают.

А как было бы круто всегда в ухе иметь личного LLM-ассистента полностью в твоём контексте и который может делать твои задачи!

Не нужна мне эта ваша дополненная реальность, хочу как в фильме Her 🌟

Стартуем на лучшей LLM

Простая мысль при создании llm-based продуктов которую не все понимают.

Сначала стартуете с самой крутой моделью доступной вам, измеряете и добиваетесь качества, и уже потом оптимизируете стоимость / скорость.

Преждевременная оптимизация и раньше была грехом, но сейчас дело в другом.

Новые прорывы лежат в применении интеллекта LLM. Чем лучше эта LLM тем больше вероятность что у вас действительно получится результат.

Начинать с более слабой модели это как пытаться запустить ракету используя 95й бензин.

Так что не стесняемся использовать o1/o3-mini даже если вы список покупок делаете.

У Anthropic вышел невероятно интересный отчет и вместе с ним целая инициатива Anthropic Economic Index.

Они берут реальные данные использования их claude.ai LLM API веб-интерфейса и строят агрегированную статистику поверх. Задача исследования - понять проникновение AI в реальные задачи людей.

Anthropic использует здесь очень правильный подход: смотрят в разрезе задач а не профессий. Каждая профессия это на самом деле комплекс разных задач. Усилять или автоматизировать нужно задачи, а не целиком профессии.

Огромное количество интересных данных и выводов, сравнения с зарплатами и распределением реальных работ. Например, на картинке видно дифф между использованием API и процентом людей в профессии.

Хайлайты:
1. Разработка софта занимает практически треть всех запросов;
2. Сильный перекос в digital работы;
3. 57% запросов это аугментация работы (т.е. "работаю вместе с AI"), 43% это AI полностью делает работу за человека;
4. Есть явный перекос в работы средней стоимости. Малооплачиваемые работы видимо трогать не интересно, а с дорогими профессиями всё сложновато получается.

Очень важно что это не какие-то опросы, а реальная статистика из боевого API сервиса. Они даже дают скачать датасет!

Bonus: интересная статья про Anthropic Clio, как они построили внутреннюю систему анализа запросов и как это им помогает

Vibe coding

Это такой новый способ "писать" код, термин придумал Karpathy вот этим твитом

Представь: ты сидишь откинувшись в кресле, смотришь как агент работает, иногда пишешь ему команды, и просто жмешь accept all 😅

Пишешь туда самую мелкую чушь вроде «перекрась кнопку», наблюдая как вся мощь лучших моделей в мире меняет цвет твоей кнопки.

Bonus points если вы поставили SuperWhisper и делаете это голосом. Тогда даже писать буквы не надо: вбрасываешь ртом команды и агент батрачит.

Народ уже обсуждает “vibe design”, “vibe research” и так далее

Я уже проникся на 100%, зовите меня вайб кодер 🌟

Идеально вечером с чаем или пивком, очень рекомендую )

Посидел с replit.com

Replit это нашумевший AI-агент для разработки. Он за тебя и код напишет, и базы подключит, и задеплоит, и запустит. Разработка по описанию задачи под ключ. Посмотрите видос!

Интересно, что изначально фаундеры затевали проект как инструмент облачной разработки и деплоя. Строят его почти 10 лет! Год назад они пивотнулись в агента и на этом дико взлетели. Тут классный подкаст с ними на Y Combinator

Всем очень советую попробовать, опыт-восторг из будущего 🥳 🤖

Эта штука за тебя step-by-step делает архитектуру, сетапит среду, тащит зависимости, пишет код, подцепляет базы и так далее. Сидишь и смотришь )

- Шикарный агентский сплит-скрин UX
Отличные интеграции
- Классные до-запросы вида «вот это ли ты хочешь»
- Сам находит и пытается чинить ошибки
- Встроенный деплой топчик

Но на паре практических кейсов replit у меня довольно слабо себя показал. Слишком сложные задачи пытается брать, в результате ломается. Нужно самому определить уровень сложности и делать step-by-step над replit, тогда в целом работает, но медленно получается.

Для меня это скорее демо "как всё будет в будущем" и классный пример агентского продукта с точки зрения интерфейса.

Но помним, что модели улучшаются, а планирование (ключевая задача здесь) в принципе недавно появились как популярная задача для Llm. Завтра будет лучше.

Cursor за два года вышел на $100M денег в год. Говорят, это быстрее любого другого B2B софта.

Собрал для вас табличку сервисов и фреймворков для создания агентских систем по уровню абстракции - от высокого и простого к низкоуровневым инструментам.

Если хотите посмотреть что такое агенты или сделать простую штуку, начинайте сверху. На уровень 4 спускаться примерно никогда не требуется.

Го в комменты где что забыл и у кого какой опыт

Telegram x LLM

Телеграм уже давно перестал быть ярким развивающимся продуктом, что расстраивает.

А прикиньте как можно было бы круто сделать мессенджер со всей мощью моделек?

Вот я придумал за 10 минут:

1. Омнимодальность голоса и текста: можно вводить голосом и будет текст, можно озвучить сообщение или чат, в любую сторону;
2. Поиск по смыслу, а не по словам рыжий с котом на аватарке, говорили про тачки. Поиск по медиа и файлам сквозной паспорт Маши;
3. Личный агент для структурирования информации и умеющий сканировать каналы/чаты вместо saved messages
4. Ассистент по-умолчанию в любом групповом чате;
5. Пуши с саммари iOS-style а не батарея бестолковых пушей;
6. Саммари-превью в списке чатов и автотреды по смыслу внутри чатов

Ребята, ну давайте там. 2025 год а у вас расшифровка голосовых кривая косая и по пять минут ждать 🌟

LLM OS

Очень мощная и близкая мне концепция. Первый раз услышал от Andrej Karpathy тут

Идея такая.

Текущий мир в котором мы живем это мир иконок приложений в твоём iPhone. Есть потребность - есть приложение под него.

Эта концепция уже трещит по швам. Супераппы это порождение недостатков этой архитектуры.

Представим мир LLM OS:

1. Ядро системы это твоя личная LLM с которой ты ведешь диалог и которая делает за тебя фоновые задачи;
2. Система имеет длинную память про тебя: кто ты, что тебе интересно и так далее. Это твой по-настоящему личный партнёр;
3. Все потребности реализованы в виде LLM Tools: функциональных ручек, которые предоставляют компании. LLM умеет их искать и вызывать;
4. Интерфейсы, конечно, есть. И полностью настраиваются через LLM. Компоненты могут предоставляться компаниями в составе Tools; но это скорее конструктор из фиче-виджетов чем текущие приложения. Некоторые считают что всё вообще будет через генерацию видео, с этим я скорее не согласен.

Как будто очень легко верится в такое будущее, я хочу в нем жить. Надеюсь, кто-то уже строит новый Apple.

No-code - всё!!111

(надо перестать читать бэкдор пхах)

Провел какое-то время с https://n8n.io/ - довольно популярной платформой для автоматизации с поддержкой агентов.

Она довольно классная - готовые интеграции, удобный дебаг и вообще. Можно быстро накидать бота или понятную автоматизацию. Сделали за пятнадцать минут с ребенком бота который генерит мемы для школьного проекта )

Разочарование приехало быстро. Как только я начал строить более сложное, стало там тесно. Ну, как обычно с такими платформами.

И тут я понял что в Cursor накидываю такое же буквально так же быстро. И без всяких глупых ограничений.

И не сказать что я там «пишу код» - я скорее говорю ей «допиши то», «допиши сё».

Новые инструменты разработки такие как Cursor и Replit настолько быстро позволяют создавать код, что изучение правил какой-либо no-code платформы уже того не стоит. И дальше это будет только обостряться.

Такие дела. Ставьте Cursor.

За новостями про новые супер пупер модели мы часто упускаем более важные в прикладной работе новые строительные блоки.

Perplexity уже довольно давно запустил Sonar: API к поиску. Выглядит ровно как апишка OpenAI, но эта штука ходит в интернет.

Это сильно недооцененная вещь.

Вот пару примеров из моей головы:
- Прокачать все отели, для каждого собрать хорошее описание. Вместо отелей подставь что угодно;
- На лету подтягивать агрегат свежих новостей на конкретную тему
- Собирать преимущества и недостатки товаров из обзоров для вашего маркетплейса;
- Подтягивать на лету решения из интернетов для проблем с любым оборудованием.

По сути, нормальный умный агрегатор интернета завернутый в API. За несколько центов за запрос.

Используйте.