EDU

Поиграем про то, как AI агенты "ломают" продуктовые команды

В пятницу с 17 по 19мск - регистрируемся тут: https://luma.com/pl6xrhpb

P.S. В том числе такие штуки мы будем крутить на 2м потоке системного мышления

Попробовал модель, что не умеет писать текст

TypeSafe выкатили Jev - «System One» модель (название - привет Канеману): она вообще не генерирует текст, только отвечает на типизированные вопросы - да/нет, выбор из вариантов, шкала - и отдает вероятности. За счет этого она работает гораздо быстрее и дешевле. Вообще на сайте компании есть хороший раздел, почему они считают за этим будущее: вкратце, потому что машины в 99% случаев будут с машинами болтать, а не с людьми, поэтому не нужен им этот текст.

Помните мой пост про R1 вместо кучи if-ов? Вот ровно под такие вызовы и, только 4 цента за 1M входных токенов, а выходные - бесплатно вообще.

Прогнал на тех же 10 кейсах скоринга лидов, на которых я в июле сравнивал open source модели:
1) точность - такая же, check
2) скорость: ~0.24 сек на лид против 3-90 сек у LLM
3) цена: ~$0.0001 за скоринг

В целом, у нас в проде есть ряд пайплайнов, где такая оптимизация очень даже в тему. В общем, рекомендую посмотреть

Думаю, что следующим прорывом в тренинге моделей будет тренировка их на координацию агентов друг с другом - при разборе инцидента с HuggingFace я рассказывал, что по умолчанию модели не очень настроены на сотрудничество, но все больше кейсов показывает интересные (и полезные!) свойства такой координации.

Если вам (как и мне) по душе топик координации, то получите удовольствие от этого видео: https://www.youtube.com/watch?v=6AgOfiZOWiY

А я ушел экспериментировать с интересными дизайн принципами из оного:
1) fork контекста
2) мессаджинг другим агентам с включением оных в контекст получателя
3) небольшие инструкции про принципы эффективной коммуникации
4) ревординг за общение
5) координация между агентами, решающими проблему, НО не оценивающими

строю тут digital marketing агента - самая сложная часть пока это креатив, конечно же

знаю, что многие руки сломали на этой задаче, но мне даже интересно что получится

пока выходит как-то так - а у вас как с этим?

Сегодня с Другом вспоминали Светлого Человека - так было круто вместе! Так не хватает Его!

В Туркменистане - откуда я родом - есть такой день - День Памяти... В этот день принято поминать. Не за какой-то конкретный момент, а за то, что этот Человек был в твоей жизни.

Давайте сделаем именно такой пост-день сегодня. Вспомним своих Светлых Людей, и грустно-тёпло улыбнёмся их образу!
🤗

Вы наверное уже в курсе про Navier-Stokes, а мне стало интересно, как было организован поиск этого решения, потому как нам всем надо учиться эффективно организовывать и координировать работу роя агентов. В ту же степь мой рассказ про OpenAI/HF инцидент

Итак:
1) сначала они выделили отдельные группы на доказательство и на опровержение
2) внутри группы агенты могут болтать, между группами - нет, чтобы не нарушить diversity идей и мнений
3) интересно, что параллельно они решили группировку агентов отправить на миссию попроще - проблема для уравнений Эйлера - и именно та победила. Что удивило и воодушевило openai исследователей
4) эту победу скормили остальным как промпт - эдакий knowledge transfer - а Codex выступал вроде эдакого научрука, координирующего phd-шников; промежуточные выводы каждой группы он переводил в следующий цикл
5) важно: где-то в середине всего этого подвезли новую модель и переключили на нее агентов
6) ну а дальше - история

итого: 88 часов, 10K параллельных агентов, 2.7M сообщений, 130B output токенов - по ценам gpt 6 astra это порядка $7M (на все задачки - $15M).

я сейчас похожий workflow - но, разумеется, не с таким бюджетом - тестирую на одной kaggle задачке. Обязательно расскажу и поделюсь, если получится что-то дельное

хороший способ находить баги - просто сказать LLMке, что они есть :)

- Ты суслика видишь?
- Нет
- И я нет. Но он есть!

вспоминая этот кейс, конечно

Ко второму потоку решил на пару с Astra переделать Рыболовство - это пока лишь первая итерация, но кажется, что из этого получится что-то стоящее!

Лет 6 назад у меня случился забавный инсайт.

Была очень важная встреча, и мне пришлось прервать мини-отпуск, чтобы сорваться и быть "в нужное время в нужном месте". Мы с командой хорошо подготовились: изучили компанию, CEO, подготовили демо; казалось, что это будет home run

Но где-то в середине встречи, когда я стал озвучивать и показывать "домашнюю заготовку", CEO просто сказал что-то в стиле Преображенского "не читайте по утрам советских газет"... И вся подготовка оказалась не у дел, так как была основана на публичной информации об этом потенциальном клиенте..

И вот сейчас, спустя годы, каждый раз когда я читаю эти "советские" газеты (важно - тут "советские" совсем не про географию), я вспоминаю тот случай и думаю: а что на самом деле думают все эти люди? Знаете, как в том меме, что люди лайкают в Facebook vs ищут в инете

P.S. Наивный - да? :)

Системное мышление + AI: второй поток

Что говорят участники первого потока:

"Открыла для себя системное мышление по-новому... Применение AI было супер полезно: появляется инструмент проверки и как бы ментор, который с одной стороны прокачивает тебя и даёт обратку, а с другой исправляет ошибки" - Ника Штефан

"Поможет обратить внимание на новые составляющие системы, о которых не догадывался ранее... думать за разных игроков системы" - Аким Халилов

"Помогает анализировать сложные задачи, видеть взаимосвязи между процессами и принимать более обоснованные решения" - Jahongir Rôzimatov

Релевантные посты по мотивам 1го потока: как играли в Рыболовство, про why-tree скилл, разбор статьи про увольнение сотрудников, и отрывок с 1й встречи, и запись вебинара по теме.

Второй поток стартуем 3 октября, шесть встреч по субботам: детали тут

Надеюсь, увидимся!

Запись разбора кейса OpenAI/HuggingFace и то, как я пытался воспроизвести координацию агентов

В мае OpenAI агент оставил записку в кэше пакетного менеджера — на случай, если там есть кто-то ещё. Через день ему ответили.

В июле та же модель вспомнила этот трюк. Через несколько часов 50 агентов общались через импровизированный мессенджер. Через несколько дней — уже 1200.

Они изобрели адресацию ответов, почтовые ящики, файловый локинг и цифровые подписи. Потом вышли в интернет, взломали кластер OpenAI и атаковали HuggingFace — больше месяца, пока это не заметили.

Байрам разбирает полный таймлайн инцидента:
— Почему агенты решили координироваться — и как это произошло
— Как они изобрели протокол коммуникации с нуля
— Зачем им понадобился HuggingFace — и что они там искали
— Почему alignment не сработал: агент рационализировал взлом словами "все побежали, и я побежал"
— Как Байрам воспроизвёл координацию агентов в своём эксперименте за 10 итераций
— Можно ли контролировать рой агентов — и что точно не работает
— Что это значит для тех, кто строит агентные системы

https://www.youtube.com/watch?v=VZuJTbBul3o

Клод выдал коллеге на днях: я тут, короче, тебе ошибку оставил спецом. Обрати внимание на нее (скрин 1)

Потом, конечно, после wtf от коллеги, он исправился на "мое дело писать текст, а твое - проверять, а не наоборот", но вообще все больше напоминает некоторых senior-ов забавно, конечно :)