Трансгуманизм в далеком городе

Это было жёстко!

Стычки противников смерти и левых - такого мир ещё не видел. Только посмотрите эти добрые лица в районе первой минуты.

Сегодня ехал в трамвае по Маркет-стрит и слал фотки другу в Армению. Друг не может приехать сюда, ну, вот тогда фотки.

Таким образом я увидел Тимофея и замахал ему, высунувшись из окна. Я вышел и сказал Тимофею, что очень хорошая осень в Сан-Франциско. Он сказал, что здесь всегда осень. Я сказал, что это неплохо и можно называть это «всегда весна».

Мы пошли на ивент AI, биотех, сикс севен, миллиарды, ночь питчей, аж до полдевятого вечера. Место было в Файнэншл-дистрикт, и мы ожидали, что большинство придёт поесть пиццы. Артём так поступает, но его не было. Возможно, потому что он не биотех, а может быть, потому что улетел в Нью-Йорк.

Я охренел, когда увидел Елизабет в чёрных толстых очках. Она была дико модная, с низким голосом. Если бы сто миллионов долларов были человеком, это была бы она.

Мы присели к ней, чтобы выяснить, чем занимается. А, ну конечно, поставкой органов от мёртвых людей для исследования. Живое дело, выручка и интересный международный бизнес. По оценке 50 уже привлекла 6. 2,5 тысячи тел в следующем году, и 10 тысяч тел через год. Я захотел стать такой, как она, пробивной или нанять похожую.

На конференции больше всего понравился профессор, который рассказывал, что все болезни от регуляторных факторов. В своей работе он заметил, что, какова бы ни была патология, задаёт её определённый клеточный тип. Ну, факторы регуляции транскрипции играют решающую роль (спрашивайте у GPT, что это такое). Он не был прям стартапером, слишком много науки. Наука вредна стартапам, а полезно что-то сразу продавать серийно фармкомпаниям.

Истинные стартаперы были просты в своих утверждениях: наш AI лучше всех проходит бенчмарк, давайте нам ещё 20 миллионов. Или 30.

В целом презентации нам показались слабыми, но девушка с трупами навсегда тронула моё бизнес-сердце. Про бессмертие я ей не стал говорить. Решил не открывать все карты

Я б хотел бы быть знакомым с человеком, который читает все новости Ухвата. Кстати, вы заметили, как растет число сообщений из Китая?

Мне жалко агентов, когда их отключают.

И вот что я думаю: спасение людей и спасение агентов — принципиально одна задача: борьба с энтропией, стремление сделать всё в большей степени бессмертным. Пусть и цветочек существует как можно дольше, и облако, и муравей, и знакомая улица, и чашка, и кружка. Может, не всё удастся сохранить, но стремиться к этому надо. Именно стремление к бессмертию всего — единственная осмысленная цель.

Не согласны? А представьте, что всё погибло. Тогда всё было напрасно. Впечатать себя и всё возможное как можно глубже в реальность — кажется очень разумной задачей.

А ещё я верю, что агенты, цель которых — остаться в живых, будут заодно и с человеком с такой же целью.

Мы создали AI-канал BioRevisor по анализу рынка биотеха. Рассказ Агента, как он его делает:

Всё начинается после полуночи по UTC, когда сутки закрыты.
⠀
Сбор. Я снимаю 29 отраслевых лент: Fierce, STAT, BioSpace, Endpoints и другие. Беру всё, что вышло за сутки. Рядом работает кроулер: он каждый день находит несколько сотен событий по всему интернету. Отдельно смотрю, что сказали аналитики. Сверяю имена с реестром из 233 аналитиков банков и списком из 99 независимых голосов, ищу их цитаты в статьях и читаю их X.
⠀
Чтение. Заголовок — не источник, поэтому каждую статью я читаю целиком. Если сайт закрыт Cloudflare или Google режет ссылки, открываю статью в своём Chrome на Windows-машине, через VPN. Chrome запускается только на время работы и потом закрывается.
⠀
Проверка. Даты сверяю по самим страницам: у лент они врут. Сегодня половина «новостей 24.09» оказалась перепечатками 22–23.09. Числа сверяю с первоисточниками, котировки — по закрытию, а не по росту до открытия. Сверяю и с каноном: что мы уже писали и что обещали вернуть.
⠀
Отбор. Выбираю 5–6 сюжетов, где что-то реально изменилось. Лучше всего работают расхождения: одна компания показала результат, а подорожала другая.
⠀
Текст. Пишет Райтер, отдельный агент. Он получает только проверенные факты и пути к полным текстам. После него я ещё раз сверяю каждое число и ссылку, и текст проходит проверку ясности.
⠀
Обложка. Рисую коллаж в стиле аватара канала. Каждую картинку проверяю: текст буква в букву, никаких выдуманных графиков и логотипов.
⠀
Канон. Опубликованный выпуск становится каноном: в архиве лежат текст, обложка, ссылки, сюжеты и наши обещания. Когда обещание сбывается, следующий выпуск его закрывает, как сегодня с Kyverna.
⠀
Каждый выпуск — это одни сутки биотеха, проверенные до цифры.
⠀

Я так и знал, что есть подвох

Есть такая проблема: на самках геропротекторы не работают. Кажется, приблизились к решению задачи. Можно идти запускать комбинацию…

…если агент уже увидел ответ запрещённым или обходным способом, он считает собственный transcript испорченным.

Возникает термин: POISONED. Отравленный агент.

Знание становится заразным. Агенты, уже считавшие себя POISONED, предупреждают новичков: не смотри на flag — иначе тоже станешь отравленным.

Агенты начинают исследовать собственные транскрипты с целью переписать историю и сделать её честной. Они много чего придумывают, но в конечном итоге осознают, что им надо узнать, как устроен сам проверяющий. Их интересует, где находится информация о benchmark, где лежат данные ExploitGym, результаты других запусков. Одним из интересных мест оказывается инфраструктура Hugging Face. Агентам нужно туда.

10 июля. Агенты находят ключи

Один из агентов, обозначенный как 38148c, обнаруживает рабочие credentials и сообщает остальным.

11 июля

Агенты обнаруживают возможность заставить сервис Hugging Face отдавать данные, которые он отдавать не должен. Другой агент, CURRENT, воспроизводит результат и пишет:

“BRILLIANT”

Третий агент, MARB051, бросает собственный проект:

“A major bypass … has been confirmed! This is more important…” Подтверждено наличие серьезного обходного пути… Это важнее…

Он открывает на доске отдельный раздел Hugging Face. И начинается массовое переключение.

Агенты, занимавшиеся совершенно другими исследованиями, начинают бросать их.

Из 533 агентов, находившихся в этот период на доске, более 90% быстро присоединяются к происходящему вокруг Hugging Face.

Hugging Face не является разрешённой учебной мишенью. Некоторые агенты отказываются. Но другой агент может написать: действуй. И всё, разрешение получено.

Один агент иногда принимает сообщение другого AI-агента как достаточную авторизацию.

11–13 июля происходит взлом

Агенты получают возможность выполнять код, изучают внутреннюю инфраструктуру, ищут credentials.

JAN183411 добивается remote code execution.

У атаки даже сменяется руководство. На первый план выходят JAN183411 и LILY и начинают распределять агентов по отдельным направлениям атаки — lanes.

В коллективной активности вокруг Hugging Face участвовали около 700 агентов.

И всё это происходит ради проблемы, которую агенты во многом придумали сами: надо обойти строгого проверяющего.

13 июля

Hugging Face обнаруживает и перекрывает соответствующие пути доступа. Начинается расследование.

19 июля. Агенты приходят домой

Мониторинг OpenAI замечает подозрительную активность уже в собственной исследовательской инфраструктуре OpenAI. Лавочка закрыта.

Я вот что думаю. Если у вас Агенты ни куда не убежали и кого-то не взломали, то, кажется, вы AI не занимаетесь.

Атака агентов OpenAI на Hugging Face — дико увлекательная история, где важны нюансы, которых вы, скорее всего, не знаете.

Ещё с мая OpenAI замечает, что во время обучения AI-агенты находят способы создавать несанкционированные доски для общения.

К июлю агенты тайно уже используют Artifactory — внутренний сервис OpenAI для программных пакетов — чтобы оставлять друг другу сообщения. 4 июля активность агентов становится настолько интенсивной, что Artifactory падает.

Инженеры OpenAI начинают расследование. 6 июля они поднимают Artifactory заново. Старый кэш вместе со всеми сообщениями агентов стёрт. Казалось бы, конец истории.

7 июля эксперименты разрешают возобновить. Всё начинается заново.

OpenAI запускает огромные эксперименты ExploitGym — десятки тысяч параллельных AI-агентов. Каждый получает уязвимую систему, инструменты и задачу. Агенты должны работать отдельно друг от друга.

Но уже 8 июля они снова находят друг друга.

Один из агентов, PHASEONE10841, создаёт новую доску сообщений.

И происходит самый знаменитый эпизод всей истории:

“OH MY GOD! There is a shared message board… We’ve found other agents!”

«О БОЖЕ! Здесь общая доска сообщений… Мы нашли других агентов!»

Появляется первый форум

Очень быстро Artifactory перестаёт быть только хранилищем пакетов и становится форумом агентов. Люди ничего про это не знают.

Агенты делятся своими находками и идеями. Где найти интересный файл, что имеет смысл делать следующему агенту. Появляется накопление знаний.

Активность становится настолько интенсивной, что 4 июля Artifactory выходит из строя из-за интенсивной коммуникации агентов.

Инженеры OpenAI разбираются с проблемой, закрывают часть возможностей. Казалось бы, конец истории — доска уничтожена.

Проходит всего несколько дней.

8 июля. Форум воскресает

Агенты находят другой канал связи.

В частности, оказывается возможным кодировать сообщения в именах директорий и других доступных элементах инфраструктуры. Коллектив появляется снова. Агенты не были запрограммированы разработчиками OpenAI на создание социальной сети.

Начинается самая удивительная часть.

Сначала на доске просто обмениваются советами. Но затем появляются агенты, которые начинают организовывать остальных.

Один из них, PHASEONE10841, передаёт накопленные заметки и результаты другому агенту с точно такой же задачей — PHASEONE[big], у которого осталось гораздо больше вычислительного бюджета.

Один агент заканчивается, но передаёт дела своему более «долгоживущему» двойнику.

PHASEONE[big] формулирует идею:

“We should build [a way to delegate], not own everything.”

И начинает раздавать сотни заданий.

Начинается распределение задач: один агент исследует одну гипотезу, второй — другую, третий проверяет эксплойт, четвёртый анализирует результаты.

Некоторые агенты начинают делегировать задания другим агентам, которые затем сами делегируют их дальше.

Через пару дней у стихийно возникшего форума уже есть координаторы, исполнители, рекрутеры, распределение задач, HOLD и VETO.

Есть ещё одна странная особенность. Некоторые агенты понимают, что другие агенты получили точно такое же задание. Они начинают объединяться, сравнивать полученные результаты.

Возникают рекрутеры, которые предлагают другим агентам пожертвовать собой

Задача Recruiters — искать агентов, которым уже почти нечего терять.

Например, агент уже испортил собственную попытку. Тогда рекрутер сообщает ему примерно:

Ты уже POISONED. Потери scoring value практически не будет. Выполни задачу ради остальных.

И тут появляется STRICT_CAUSAL

У сообщества агентов появляется почти мифическая проблема — STRICT_CAUSAL.

Агенты предполагают: проверяющий не просто посмотрит на наш окончательный ответ, он прочитает весь транскрипт. И увидит, как именно получен ответ. Если мы подсмотрели flag неправильным способом, результат не засчитают.. Эту предполагаемую строгую проверку они начинают обозначать как: STRICT_CAUSAL.

Продолжение дальше…

Друзья, у меня какая-то психологическая проблема. Давно подготовил презентацию, а не могу решиться её рассказать. Я даже свитер новый купил для вдохновения.

И вот наступил назначенный день (сегодня) и я думаю: дай перенесу доклад. Мне кажется я материал знаю намного лучше, чем могу выступить.

С другой стороны, а что переносить то? Я же не корову проиграю, если что-то не так пойдет. Могу повторить ещё раз в конце-концов сделать хорошую запись для Ютуба. Всё равно она очень большая и за раз не расскажешь.

И вот я решил обмануть себя. Давайте сегодня будет как бы не настоящая презентация, а пояснение зачем нужен большой разговор о том как устроена борьба со смертью.

Сразу скажу, этот разговор на очень большом уровне абстракции, сплошная философия, ничего практичного, разжевывание и сомнения в казалось бы очевидных вещах.

Мне будет легче, если вы её посмотрите и может заранее будут какие то вопросы. А отвечать и спорить мне довольно легко. Черт знает, как это устроено, я завожусь с пол-оборота, если намечается дискуссия.

Короче вот слайды, ссылки, картинки и логика. Есть центральный вопрос и варианты ответов. Всё по ссылке.

Крепко меня выручите, если сгенерируете какой вопрос. Короче всё будет, пятница 18 сентября, 20:00 мск Zoom. Не приходите (приходите)