[38/100] Витя Тарнавский

Начались первые обещания закручивания гаек по GPU. Пока что в виде дополнительных тарифов на импортные GPU, призванных построить фабрики для производства чипов в США а не в Тайване.

Дальше будет веселее. США будет пытаться отобрать у Китая все потенциальные новые GPU. Для NVidia это порядка 20% бизнеса, между прочим.

И напомню про вот этот мой пост объясняющий ситуацию вокруг GPU и Тайваня.

На фоне истории вокруг DeepSeek меня активно спрашивают «а почему не мы?» - имея в виду то рынок РФ, то конкретно Т-Банк

Действительно, сравнимый объём железа у нас есть, мозги - тоже. Казалось бы, все есть!

Ну, не совсем.

Возможность построить модели такого уровня это сочетание большой мотивации и ресурсов у достаточно большого количества компаний. Это лотерея - DeepSeek выиграл, ещё 100 лаб проиграли.

В США компании это делают ради денег. Если ты сделал топовую модель, твоя компания вошла в первые ряды и оценивается очень дорого. С инженерами, кстати, похожим образом работает. У нас такого нет, рынок не оценит.

Китай пронизан национальной идеей великости Китая и «порвем США». Там инженеры реально хотят обогнать OpenAI ради страны. У нас такого среди инженеров сильно меньше. Кроме того, есть как минимум десятки компаний у которых есть достаточные ресурсы. В РФ их строго меньше пяти штук.

В результате получаем то что получаем. Еще и модель в мире не примут, и железо (даже такое как у китайцев) не объяснишь.

Channel name was changed to «[27/100] Витя Тарнавский»

Маленькая зарисовка про жизнь с Cursor

Надо было тут картинки перевести из webp в jpg. Я знаю как на маке конвертнуть одну (хотя зачем мне это знание), но мне нужно было восемь.

Я открыл Cursor и сделал скрипт на питоне буквально за 15 секунд. Просто сказал «сделай вот такую программу» и потом «сделай ее запускабельной», и всё.

Запустил, конвертнул, пошел довольный дальше.

Киберпанк какой-то 🤖

Что интересно про DeepSeek так это объем железа для обучения.

По официальному репорту, DeepSeek тренировался на кластере из 2k H800. Это смешной размер для таких задач. Это примерно в 50 раз меньше чем кластер для обучения любой большой модели в US.

Слухи ходят что они не раскрывают данные о реальном кластере. Китаю нельзя официально иметь кластера на H100 и других топовых картах любого крупного размера.

Я в Китае был сам и инженеры там лично говорят что кластера на 50-100к у них конечно есть. Раскрывать они их не могут.

С другой стороны, DeepSeek выпустили вместе с моделью подробный тех репорт с указанием размеров кластеров и так далее. И там все бьётся нормально - объёмы данных и времени вполне совпадают с объёмом железа, это подтвердили более-менее все лидеры индустрии.

Если это и правда возможно на кластере в 2k, значит и другие страны могут так же и стены в 100k кластера не существует.

Все посмотрели демку оператора от OpenAI? Круто же? Ну сырое, да - но это вопрос времени.

Прокомментирую отдельно про его удаленность, это важно.

Работает он внутри браузера на серверах OpenAI. То есть вам нужно логиниться удаленно в ваши сервисы, что стремновато. С приложениями совсем не будет работать, если они конечно ферму не решат делать. Также, ваша внутренняя сеть недоступна - например, с корпоративными ресурсами.

Как я вижу, дальше появляются:
- Локальные решения в виде приложения на десктоп чтобы не логиниться
- Operator для iOS/Android с "скрытым" экраном чтобы не логиниться в приложения
- Разные комбинации on-premise решений. Надо соединить это с чем-то вроде rdp и внутрикорпоративной фермой с локальными же моделями

Важно всё это потому что открывает путь к автоматизации действий которые не имеют API-интерфейса. В диком вебе можно сделать почти всё внешнее. В корпоративном вебе можно сделать почти все внутренние задачи.

Потрясающая статья про агентов от Chip Huyen - классной вьетнамской авторши книг про ML. Ex-NVIDIA, Netftix etc, но прежде всего она круто пишет профессиональные книги.

Это прям небольшой учебник о том как создавать агентские системы. Очень хорошо написано, сильно лучше чем статья от Antrophic. Много ссылок на статьи и источники.

Вот классная цитата:

Planning, at its core, is a search problem. You search among different paths towards the goal, predict the outcome (reward) of each path, and pick the path with the most promising outcome. Often, you might determine that no path exists that can take you to the goal.

Пользуйтесь.

https://huyenchip.com/2025/01/07/agents.html

Это к манхэттенскому проекту и situational awareness

Обзорная статья от McKinsey про AI в банковском секторе. С картинкой «нового» IT-стека.

Можно почитать, булшит умеренный, полезное есть. Из того что выцепил:

- Нужно перестраивать себя и принимать риски. Большинство игроков делают слабые безрисковые проекты - строят пару чат-ботов и суммаризацию. Настоящие львы перестраивают с нуля целые домены - например, привлечение.
Так и есть, так и есть

- Фокус. Предлагают выделить пару доменов которые реально повлияют и фокусироваться на них. Так и есть, обычно это поддержка и привлечение. Ну и developers productivity, как везде.

- AI-архитектура. Предлагают переделать всю архитектуру добавив большие слои и блоки примерно как на картинке. Тут они несколько перегибают и видимо продают себя, но и правда приходится много достраивать и менять.

- AI-агенты. Предлагают всем бежать строить агентные и мультиагентные системы для автоматизации. Это они имхо рановато, агентам до банковского продакшена еще нужно дорасти. Опять же, себя продают.

https://www.mckinsey.com/industries/financial-services/our-insights/extracting-value-from-ai-in-banking-rewiring-the-enterprise

Во время отпуска наконец-то дошли руки прочитать SITUATIONAL AWARENESS - 165-страничный документ про AI, AGI и как всё катится в сторону манхэттенского проекта.

Написал его Leopold Aschenbrenner - 22-летний инженер уволенный из OpenAI. Он был частью Superalignment Team - команды, занимающейся Safety, которую разогнали в прошлом году (вместе с Суцкевером). Уволился он тогда со скандалом - парень громко говорил что всё небезопасно и вы делаете угрозу человечеству и вообще одумайтесь.

Документ хорошо и аргументированно написан, с примерами, доказательствами и ссылками. Отчасти поэтому разлетелся и вызвал мощный резонанс.

Основная идея: Trust the trendline

Если пытаться сжать весь документ до основных идей, то:
- Мы прирастаем примерно x10 каждый год по мощности AI-систем и это четкий тренд — вы сейчас здесь;
- Это обгонит людей очень быстро, его прогноз: AGI к 2027 (как он это определяет оставлю вам на самостоятельное исследование);
- Как только будет построен устойчивый агент-AI-ресерчер начнется положительная обратная связь автоулучшаемой системы и кривая ещё загнется вверх;
- Пойдут необратимые экономические изменения;
- Подключаются государства, манхеттанский проект из текущих лабораторий и так далее.

Про моих любимых агентов он там тоже много пишет. Один из следующих шагов - AI-сотрудники на remote которые лучше чем люди.

Чтиво классное, я очень советую хотя бы первые две главы. И документ во многом исторический, очень резонансный. Классно что его написал молодой 22-летний парень.

Я вернулся из отпусков, скоро будет контент )

А пока что посмотрите спецвыпуск Private Talks со мной совместно с великими. Рассуждаем про то лишит ли AI всех работы или скорее наоборот.

Аузан мощь, Саша и Андрей крутейшие, очень рад что поучаствовал ❤️ Получилось очень хорошо.

https://www.youtube.com/watch?v=JV4wVLEpojw

Большой рассказ от Uber: что они наворотили за год в разработке с помощью LLM

Основные вещи:
- Code Assistants
- Автогенерация тестов
- (!) Автоперевод легаси Java кода на Kotlin с помощью LLM

Много деталей реализации, очень интересно. Особенно про автоперевод когда - ребята наворотили систему из ASL правил, LLM и human in the loop. Про агентов как способ реализации тоже есть.

Выводы классические: прототип делать легко, продакшен решение сложно.

Лучше смотрите видео: https://youtu.be/jp-fBw07r7c

Channel name was changed to «[26/100] Витя Тарнавский»

Один из активно обсуждаемых топиков сейчас это «AI агенты убьют SaaS». Говорят про это много и большие ребята. Например, CEO Microsoft, a16z, Y Combinator.

Обобщенный нарратив такой: в мире победивших агентов текущим SaaS точно не место и весь B2B SaaS рынок будет выглядеть иначе. Как именно - мнения разнятся.

В теме не так просто разобраться. Вытащил для вас из потока сознания интересные мысли.

Представим, что у нас мир победивших AI агентов. Агенты умеют решать интеллектуальные задачи, ходить в разные API и базы, реализовывать бизнес-логику и так далее. И все B2B взаимодействия будут делаться через таких агентов.

Тогда:

1. У каждого B2B сервиса будет представление в виде AI Tool.

2. SaaS компании которые продают бизнес-логику над базами данных теряют смысл, проще на своем агенте промпт над базой написать.

3. Агенты позволят не завязываться на интерфейсы SaaS решений так как есть более универсальный языковой формат и вообще не надо сажать людей. Например, saas бухгалтерия с интерфейсом перестанет быть нужна так как будет агент принимающий на вход текстовый запрос решающий эти же задачи сам.

4. Интеграционные усилия по внедрению драматически снижаются - не нужно изучать интерфейс очередного saas или подключать API.

5. Как следствие, падает конкурентный ров в виде vendor lock. А не как сейчас проекты «5 лет отказа от Siebel»

6. Появятся B2B Agents & Tools SaaS маркетплейсы которые сделаны чисто для агентов. Подключить бухгалтерский софт агент сможет и сам, найдя его на маркетплейсе и вызвав как tool. Это означает значительное снижение стоимости привлечения в SaaS.

Тема активно форсится разными участниками рынка как революция, но часто уходит в булшит бинго.

Я верю что революции тут быть. В мире победивших агентов любая услуга это tool, а любая логика это промпт.

Вышла отличная статья от Antrophic про агентов и как их строить.

В частности, хорошо расставляют по местам понятия Workflow и Agent.
- Workflow это заранее предопределенная последовательность действий. Я обычно называю пайплайн, надеюсь это правильно )
- Agent это система где LLM динамически определяет как именно будет решаться задача - какими инструментами, в каком порядке и так далее.

Полезно потому что каждый встречный-поперечный поставивший цикл while вокруг одного промпта уже называет своё решение "агент" и поднимает ещё $10M )

Статья классная, с базовыми принципами построения и пайплайнов и агентов.

https://www.anthropic.com/research/building-effective-agents

Пятничный контент )

Давно хотел пособирать end2end видосы.

Собрал драму про разочаровавшегося в человечестве квадробера 😅😽

Сюжет, видео, аудио - генерация. Chatgpt, dallie, runway, elevenlabs. Час работы всего.

На чем проще всего автоматизировать такой пайплайн, кто знает?

p.s. зацените голубя на втором кадре
просто на пофиг идет сквозь решетку 🐤

Почему стартапы нервничают перед 20-м декабря

Со стороны кажется что OpenAI своими релизами только и делает что закрывает компании выпуская какую-то обёртку вокруг своих же решений которая до этого была у стартапа. В целом, это правда.

Но гораздо больше стартапов делают ровно наоборот. Они создают продукт, инженерию и зачаток бизнеса, который на текущих моделях ещё не работает. Но будет работать если модели станут сильно круче.

Упомянутый выше Devin это как раз пример такой компании. Пока что кринж, но вот с GPT-5...

Поэтому куча стартапов нервно ждет последнего дня релизов OpenAI (это кстати уже завтра) и надеется что там будет GPT-4.5 или GPT-5 который сделает очередной прорыв и их стартап наконец-то заработает как надо.

А OpenAI может и не зарелизить. Пока что они горячую телефонную линию для ChatGPT запускают. Это вообще что? ))

Давайте посмотрим на Devin, это отличный пример агента. Стартап нашумевший, многие его отмечают, даже отец наш Karpathy.

Devin это такой джуниор девелопер-тиммейт. Работает полностью через slack.

Ты ему пишешь в slack как живому разработчику буквально "сделай вот этот таск" или "нашел баг, исправь". Он уходит читать доки, готовить код и делать пулл реквесты. И возвращается минут через 15 со словами "я сделяль". Можно потом комменты в гитхабе оставить на реквест и он их пойдет исправлять. Всё как с живым джуном!

У него всего три инструмента:
- Веб-браузер и внешний и для условной jira
- Консоль
- Редактор кода с гитхабом

Код получается по отзывам разработчиков вполне сносный. Лучше справляется с стандартными штуками, с всяким редким работает плохо. Ну, ожидаемо от llm-based инструмента )

Разработчикам Devin не очень нравится. Нет контроля над кодом, медленно, воркфлоу через slack, и вообще их это не очень усиляет. Любой синьёр знает что лучше ускорить себя на 10% чем получить джуна в команду ))

Интересен прайсинг. Ребята просят за Devin $500/month. Что очевидно сильно дороже того же Cursor ($20) или ChatGPT. Но ребята сравниваются с junior developer, и тогда такое сравнение по цене очень даже уместно - примерно в 10 раз дешевле )

Сейчас это, возможно, уже лучше чем типичный джун. Но технологии будут расти и такие штуки как Devin будут всё более надежные. А вот люди - вряд ли.