[38/100] Витя Тарнавский

Anthropic анонсирует Model Context Protocol, стандарт с открытым исходным кодом для подключения ИИ-помощников к источникам данных. На самом деле давно пора было — мы все так или иначе писали свои решения для таких подключений. Если его сейчас поддержит кто-то кроме Claude — это будет без преувеличений великое дело.

https://techcrunch.com/2024/11/25/anthropic-proposes-a-way-to-connect-data-to-ai-chatbots/

А вот и открытый протокол для интеграции от Antrophic подъехал. Надеюсь, будет один стандарт, а не три.

LLM Agent Toolkits - SDK из мира LLM

Агентам надо взаимодействовать с внешним миром, а компаниям и сервисам - встраивать свои вызовы в агентов. Давайте разберем на свежем примере.

Stripe выпустил Agent Toolkit - библиотеку для подключения своих платежных API к LLM-агентам. По-простому это набор API-методов с текстовым описанием для LLM что этот метод делает и какие параметры возвращает, в формате langchain и vercel.

Например, для метода создания инвойса у них вот такое несложное описание для LLM:

This tool will create an invoice in Stripe.

It takes one argument:
- customer (str): The ID of the customer to create the invoice for.

Это классный пример такого “LLM API” подхода для новой LLM Apps инженерии.
Что-то подобное стоит применять если вы внутри компании делаете платформу для LLM приложений и вам нужно все API "обтулить" или если вы делаете внешний API сервис который в перспективе полезен в агентских сервисах.

Ждем что через 5 лет примерно у каждого сервиса который будет куда-то интегрироваться будет и такая версия API. Название, как в случае RAG, может еще поменяться десять раз.

Всех с пятницей! )

Всё ещё не верится что мы делаем нашу большую продуктовую конференцию в мутаборе 😅

Готовим лучшие доклады на день и флешки с музыкой на вечер

На онлайн ещё можно записаться! https://producty24conf.tbank.ru/

Экосистемы и китайский сценарий

Все крупные игроки в РФ отстраивают свою экосистему. Строят от якорного продукта: Яндекс это поиск, Сбер и Т это банк, Озон это маркетплейс и так далее. Но дальше все строят всё остальное: банки, рекламу, маркетплейсы, самокаты и так далее. Дорамы 😅

Это рынок экосистем, или китайский сценарий.

Связано это, прежде всего, с маркетингом. Разница в стоимости привлечения на независимый апп и на приложение в супераппе - в разы. Даже если это отдельное приложение продукта экосистемы, все равно работает общий бренд, большие экосистемные бюджеты на привлечение и сквозная программа лояльности.

Влияет сильно помятый рекламный рынок: игроки ушли, новые не пришли. Гугла нет (вместе с YouTube).

Интересно, что долгосрочно проигрывает в таком сценарии именно поиск. В какой-то момент экосистемы перестают позволять по себе искат снаружи, да и людям это уже не нужно, проще внутри поискать. В Китае это уже наблюдается.

Следим за развитием событий, ваш @singularityfm

Perplexity запускает первые эксперименты с рекламой

Самый яркий new age альтернативный поиск запускает рекламную модель рядом с подписочной. В блоге ребята объясняют это через создание robust and self-sustaining business.

К сожалению, для информационных сервисов подписка не является устойчивой бизнес-моделью. Причина проста: люди привыкли что информация бесплатна. И это действительно так: Google бесплатный, Youtube открыт, и так далее. Хочешь построить большой бизнес на информации - делай рекламу или будешь бутиковым бизнесом для избранных и без денег на технологии.

Рекламу обещают делать явной (с пометками) и не передавать personal data рекламодателям. Это стандартные принципы хорошего тона.

Тестовый формат - первая позиция в доспрашиваниях. В сам ответ вставлять на текущий момент не хотят. Я видел у Bing эксперименты когда в первый кусочек текстового ответа вставляется sponsored кусок текста - это тоже вариант. Ещё бывают sponsored "карусельки" офферов в основном ответе.

Посмотрим, что придумает Яндекс.

Регистрация на физическое присутствие закончилась, но у меня есть немного билетов для вас )

Первым пяти кто напишет в комменты «хочу билет» выдам!
Только чур потом дойти!

upd: билеты улетели за минуту

Продукты 24!!! Большая продуктовая конференция от Т

В АРМЕ 😉, следующий четверг

Днём расскажу про AI и его влияние на все продукты
Вечером играю диджей-сет

Записывайтесь https://producty24conf.tbank.ru/

For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.

Большие модели нужны редко. На продакшне не нужны почти никогда.

Мы изначально взяли подход "SLM + допретрен + файнтюн": небольшие модели, делаем допретрен на русский и наш домен, и потом делаем файнтюны на задачи. Это быстрее, дешевле и эффективней.

Это слайд с рабочей встречи - на очередном новом кейсе выигрыш нашего файнтюна маленькой модели против GPT-4. С первого раза такой результат.

В данном случае файнтюн gemma9b, допретрен на русском языке + бизнес домене, с большим запасом перебивает gpt4. gpt4o на конкретно этой задаче работает ещё хуже, так бывает.

Смотрите, Lex Fridman и Vitalik Buterin говорят по-русски )
Точнее, Лёша Фридман и Виталик Бутерин

Обложка для видео 💀

https://www.youtube.com/watch?v=4XkFY9IsACk

Наши ребята записали интересный подкаст про LLM-приложения, агенты и инструменты вокруг LLM.

Если хотите понять как создавать решения на базе LLM и как на наших глазах строится новая инженерия которой раньше не было, идите смотреть.

Я считаю что это будущая инженерия почти любых инженерных решений. Новая база. Хотите оставаться актуальными - идите смотреть.

А еще вышло мое большое интервью для Kept

Рассказываю про наш подход к AI и объясню зачем мы опенсорсим модели. Получилось классно, доволен ) заходите почитать или послушать, есть и видео

Pieter Levels

Давайте расскажу про этого очень любопытного персонажа.

Pieter Levels на потоке клепает технологические бизнесы.
- в одиночку (!)
- без внешних инвестиций (!)
- уже 50+ бизнесов с общим годовым доходом в $3M+ (!).

А еще он живет с одним рюкзаком, ездит по всему миру, работает из всяких джунглей и проповедует номадский образ жизни. Батя номадского движения. Он строит digital nomad инфраструктуру вроде сравнения локаций для номадов и биржи для номад фрилансеров.

Активно использует самые разные copilot/automation инструменты чтобы делать всю работу его бизнесов без людей. У него нет наёмных сотрудников - это такая философия. Код пиши сам, работу автоматизируй и так далее.

В последнее время начал делать AI-workforce бизнесы вроде AI-менеджеров и AI-редакторов. Агенты, все как мы любим.

Почитать его проще всего в Твиттере и есть лонг интервью с Лексом

Записки из Лондона

Был в Лондоне, прошелся по менеджерам, фаундерам и инженерам из индустрии. Хайлайты:

1. Лондон – отличная база для международного предпринимательства.
UK-based это уважаемо, таймзона подходит для работы с разными локациями, инженеров из РФ выдернуть можно, инвесторы из US тоже доступны. Летать удобно.

2. AI индустрия умеренно развивается и представлена.
В Москве у меня свербящее ощущение, что где-то там люди творят великие дела: строят всякие опенэай и перплексити, делают стартапы и вообще уже в сингулярности.
Так вот. Лондон - такая же деревня но с work life balance и бумажной почтой ) Есть классные проекты и люди, ну они и в Москве есть.

3. Денег в найме в Лондоне платят мало. Если ты engineering manager и удачно устроился, будешь получать £300к+, из которых 40% уйдет в налоги. Это включая US бигтехи. В US на тех же позициях можно получать в 2+ раза больше. Выше £500k я так понимаю практически не бывает.
Я знаю что это многим может показаться как много, но с Лондонскими тратами это совсем не так.

4. Жить в Лондоне людям нравится :)
Как и везде много сложностей, основная - очень дорого жить, и это в сочетании с предыдущим пунктом. Но плюсов тоже много. Если есть деньги, минусы перекупаются.

Кстати, пасмурный Лондон это предрассудки - он сильно более солнечный чем Москва. Знаю ребят которые переехали и купили в Лондоне пятиэтажку (ребята привет😅)

Пишите в комментах где я обманул и дополняйте

The days are long but the decades are short

Сэм Альтман написал пост с жизненными принципами. Он классный, очень советую вчитаться.

Сэм написал его 10 лет назад. Ему было 30 лет. Через 8 месяцев после поста был основан OpenAI.