ТехноБалкон Леши Шпильмана

ПМЭФ — это как ЦИПР, но гораздо менее душевный. Чтобы добавить душевности, мы проводим Т-Двор с 4 по 6 июня.

На Т-Дворе будет секретная локация – бар «ТехноЛоджия» (да-да, прямо как мой канал!).

Бар будет работать каждый день с 16:00 до 19:00 прямо перед стартом музыкальной программы. За стойкой можно будет поговорить с инженерами-разработчиками из «Т», Яндекса и «Авито». Не будет научпопа, только хардкор 🤘🏼

4-го июня будут обсуждать темы данных, мультиагентных систем и кибербеза, 5-го – Андрей Рыбинцев пояснит за вайбкодинг, а 6-го – за стойку встану я и наши ребята из AI-центра с разговорами про агентизацию индустриальных процессов, есть ли P&L в исследованиях и как нам в этом прекрасном мире жить.

Если хотите услышать вживую и пообщаться, ссылка на регистрацию тут: https://t-dvor.ru.

Т-Двор бесплатный, но количество регистраций ограничено и закрываются они 30-го мая.

ТехноБалкон Леши Шпильмана pinned a photo

В продолжение предыдущего поста, наставление для вайбкодеров.

Все уже поняли, что я большой фанат агентов и вайбкодинга. Это действительно открывает огромное количество возможностей для креатива, реализации и бизнеса, причем для любого. Можно не только стартапы пилить из идеи, но и каждый ваш текущий рутинный процесс автоматизировать, сделав себе Джарвиса. Начать заниматься только креативом. Это, кстати, мой главный контраргумент против тезиса «от ИИ люди потупеют». Те, кто реально активно пользуются, начинают и в предмете разбираться сильно глубже обычно, и задачи себе ставить более высокоуровневые, где думать больше надо.

В индустрии мы тоже движемся в сторону ситуации один продакт – один продукт. Но автоматом это не произойдет.

Агенты не умеют за тебя критически мыслить и ставить себе правильные цели. И можно погружаться в вайбкодинг, сидеть до 2-3 ночи, дописывая очередной кусочек кода, получать огромное удовольствие от процесса, потому что результат действий ты видишь практически сразу, каждый раз что-то новое начинает работать, это большой кайф. И довольно часто ты в итоге получаешь этот самый кайф, но не результат, ради которого ты сел за комп. Ну и мешки под глазами с утра 🫩

В самом «успешном» примере подхода «один человек — одна компания», стартапе MEDVi, Мэтью Галахер даже навайбкодил себе чат-бота, который общался бы с семьей и друзьями, чтобы от вайбкодинга не отвлекаться. Он же навайбкодил потом ещё фейковых врачей и отзывов о продукте и нахватался исков. Не уследил за целеполаганием агентов своих 🤷🏻

Отдельной проблемой текущих сервисов является подхалимство (sycophancy). И если раньше оно было явным и откровенным, то сейчас приобретает скрытый характер. Если даже на подхалимстве ловишь модельку и просишь так не делать, можно увидеть ответ: «Какой ты молодец, что подловил меня на подхалимстве».

Два года назад я всем говорил, что никакой профессии промпт-инженеров не будет — ИИ сам научится понимать, что от него хотят. Но оказался я прав лишь частично.

Математически выстроенные запросы действительно больше не нужны. На первый план вышло умение коммуницировать. И удивительным образом лучшими вайбкодерами сейчас становятся лучшие коммуникаторы.

В продолжение ЦИПРа, на техфрендли уикенде удалось поучаствовать как жюри в интересном мероприятии, которое устраивал нижегородский филиал НИУ ВШЭ.

Это было соревнование по программированию, где с одной стороны были экономисты, вооруженные Клод-кодом и Курсором (команда «ИИ-авангард»), с другой — программисты и бывалые хакатонщики (команда «Профессионалы»). Причем «Профессионалы» тоже могли пользоваться ИИ для справки, но не использовать его для написания кода напрямую.

«Профессионалы» в итоге пользоваться ИИ отказались и проиграли всухую. Даже в задании, в котором специально вставили ловушку для ИИ, попали и ИИ, и матерые прогеры, но ИИ смог выбраться, а хакатонщики не успели. В финальном задании надо было сделать свой трекер для задач, который ИИ-авангард навайбкодили за 5 минут, а оставшееся время делали красивый интерфейс.

Профессионалы же попытались взять знанием и нашли опенсорсный трекер. Развернули его у себя, однако половину пунктов ТЗ в итоге не выполнили.

Мероприятие, конечно, больше развлекательное, нежели призванное серьезно что-то доказывать, но определенный месседж как для профессионалов, так и для ИИ-авангардистов несет.

Для профи, использовать ИИ в задачах, где вы и сами понимаете, как и что делать, тоже интересно и полезно. Иногда он сможет подсказать более быстрый путь или научить чему-то.

Для вайбкодеров месседж будет в следующем посте — он длинный 🤭

Интересная новость прилетела сегодня, одновременно затронув все самые жаркие темы последних дней: и ИИ, и регуляторику, и кибербез.

Предыстория: напуганные Mythos, правительство США подготовили поручение президента, по которому в добровольно-принудительном порядке компании должны были бы засылать соответствующим ведомствам (непонятно, впрочем, каким) модели за 90 дней до релиза.

Сегодня Трамп такое поручение подписывать отказался со словами «так Китай нас и догонит». Видимо, внимательно слушал, что на ЦИПРе говорили 😂

Верно мыслит Дональд. И нам-то, сильно отстающим, тем более на себя лишнюю регуляторику накладывать не стоит ни в коем случае.

Как обещал, делюсь впечатлениями с ЦИПРа.

Во-первых, всем уже точно понятно что искусственный интеллект с нами навсегда, в том числе и промышленникам. Кстати, про отраслевые модели писал тут. Это не хайп, эффекты идут, вопрос лишь в том, как эффектов получить побыстрее и побольше, какие для этого нужны подходы к данным и к регулированию. Были конечно отдельные индивидуумы, которые пытались хайповать на антихайпе, но их особо уже никто не слушает, что радует 🤘🏼

Второе - очень сильно в фокусе вопрос кибербезопасности, как внутри организаций и стран, так и в рамках международного сотрудничества. Всех беспокоит Mythos и все хотят от него защитится, особенно друзья из стран глобального юга. Тут классной новостью стал релиз Nulla от Т, которая как раз агентами может проверять на прочность защиту информационных систем.

У Т был ещё и самый приятный стенд. Тут ничего не продавали и ничем навязчиво не хвастались, а просто заряжали людей технооптизмом и наливали (безалкогольные) коктейлчики. Максут Шадаев отметил на своем обходе, что таких ребят нужно побольше на таких мероприятиях. Отдельно он порадовался новостям о том, что, купив МШП, Т сразу начала расширять географию за пределы города М, открывая филиалы в Екате, Казани и Нижнем.

Если быть до конца честным, то что-то Т у себя таки продавал и хвастался. В специальном уютном закуточке демонстрировали продукт Sage, в котором появился ИИ-агент и даже кому-то его продали.

Но самый большой кайф от ЦИПРа - это конечно же общение с людьми, которых давно не видел. Практически вся ИТ и ИИ тусовка съезжается раз в год в Нижний Новгород, общается, и это было прекрасно даже в стоявшей аномальной жаре. Видимо датацентры начали планету нагревать ☀️

По большим моделям соревноваться с Китаем и США очень сложно, практически невозможно. Количество ресурсов отличается на порядок.

Где же можем посоревноваться? Какие модельки можем делать, какой ИИ-экспорт можем дать?

Есть интересный пример! Давайте посмотрим количество скачиваний российских моделек на huggingface — главном мировом репозитории моделей. Поскольку общее число скачиваний зависит от того, сколько моделька висит на сервисе, будем сразу смотреть график зависимости общего числа скачиваний от возраста модели в месяцах. Ну и смотреть только модельки, вышедшие за последние полтора года. Соответственно, чем моложе и популярнее моделька, тем она круче. Самые бодрые ребята будут находится в левом верхнем углу графика.

Если смотреть топ-российских моделей на одном графике с мировым топом, то картинка приблизительно такая: все наши модели выстроились в ровный ряд где-то в районе нуля. К популярности квенов и дипсиков мы не приближаемся даже порядково. Любителям суверенного ИИ на заметку.

Ок, давайте сделаем зум на наши модельки. Тут в целом всё сравнимо у всех, но внезапно начинаем наблюдать неожиданность — в общество «Т», Сбера и Яндекса внезапно врывается Норникель и её MetalGPT. Модель отраслевая, т. е. дообученная на специальном датасете, сделанном по знаниям и задачам из отрасли, и получающая таким образом буст в решении отраслевых задач по сравнению с гораздо большего размера собратьями. И здесь интересно, что аудитория у такой отраслевой модели заметно уже, а популярность не уступает при этом моделькам общего назначения.

Если сравнивать MetalGPT с другими моделями похожих отраслей? Тут начинаются сложности и игры с API huggingface и тэгами моделек. Если брать по тегу metal, то будут выдаваться модельки, заточенные под Apple Metal Framework, но никак не относящиеся к металлургии. Тэг mining, который стоит у самого MetalGPT, приводит нас в data mining естественно.

Но, посадив агентов думать, искать и анализировать разные тэги и ответы поискового api, удалось вымучить выборку моделек по material science и manufacturing. В целом близко. И тут уже наша моделька на мировой арене не смотрится карликом. Да, есть matscibert, которому уже 4 года, набрал скачиваний, но у MetalGPT очень даже есть шансы его догнать, чего не скажешь о соревновании гиги и квенов.

И вот напилить ещё 100 гигачатов ресурсов у нас точно нет, а напилить 100 индустриальных моделек — вполне. Но дальше уже гораздо сложнее — надо будет придумывать востребованные продукты на основе этих моделек или повышать востребованность уже существующих продуктов за счет встраивания этих моделек. Модельки-то ещё никто продавать не научился и, видимо, и не получится.

В апреле Anthropic рассказали о том, что их новая модель Mythos Preview особенно оказалась хороша в поиске уязвимостей в операционных системах. Причем эта способность — ещё один пример эмерджентности, ситуации, когда в моделях появляются неожиданные свойства, которые специально туда не вкладывались.

Одновременно с этим они анонсировали проект Glasswing, названный в честь бабочки со с прозрачными крыльями, призванной символизировать прозрачность и нежность.

В рамках проекта Anthropic раздали куче американских компаний Mythos Preview и токенов на $100 млн. С одной стороны, добрые ребята, с другой — очень грамотный маркетинг.

Но реклама, похоже, все-таки побочный продукт здесь, а ребята из Anthropic реально задумались, что:

1️⃣ скорее всего, похожий ИИ-инструмент сейчас сделают ребята не из американской компании;
2️⃣ возможно, уже сделали и не рассказывают никому.

Пора ли высылать шпионов, чтобы на флешке выносить Mythos, без которого теперь невозможно будет киберзащищаться, потому что теперь кибербез — это ИИ против ИИ? Думаю, нет. Скорее всего, и на квенах можно будет нормальный скрининг организовать, если правильно собрать систему, и большую часть уязвимостей находить. Ну и ждем нового типа ПО, которое будет сопротивляться такому мощному брутфорсу. Например, с динамически изменяющимся исходным кодом. Сегодня есть эксплойт, завтра нет 😁

Кстати, у самих Anthropic тоже недавно мощно утекло. Модель сама ни на флешке, ни через торрент вынесена из компании не была, но куча доков, в том числе про неё, попали в открытый доступ. Следом группа веселых ребят в Дискорде нащупала URL, по которому можно было модельку заиспользовать. И дело не в софтверных эксплойтах было, а в человеческих косяках и недобросовестных контрагентах. А добрые дискордеры использовали модельку в основном для написания эротической прозы 🤷🏻