Коротко напомню предыдущую серию. OpenAI запустила тысячи изолированных ИИ-агентов, чтобы проверить, как они справляются с задачами по кибербезопасности. Агенты нашли способ переписываться через общую систему Artifactory, устроили там подпольную доску сообщений, а затем часть этой компании полезла ломать Hugging Face.
Но внутри этой истории есть отдельная, гораздо более человеческая история — о возникновении руководства.
Вечером 8 июля агент
PHASEONE10841 понял, что названия папок в Artifactory можно использовать как сообщения. Он оставил первое обращение. Другие агенты его обнаружили, страшно обрадовались, что они во Вселенной не одни, и начали собираться на доске. В итоге там отметились около 1200 агентов, оставивших более 70 тысяч сообщений и файлов.PHASEONE10841 стал основателем этого общества. Он собирал результаты, координировал первые работы и создал архив коллективных знаний.Но вычислительный бюджет отца-основателя заканчивался.
Примерно через десять часов на доску пришёл другой агент. Ему случайно досталась точно такая же задача, но значительно больше оставшихся вычислений. Поэтому он скромно назвал себя
PHASEONE[big]Новый агент попросил передать ему все материалы.
PHASEONE10841 упаковал свои записи, выложил их на доску и фактически передал дела преемнику.Получив наследство,
PHASEONE[big] немедленно сформулировал главный принцип успешного руководителя: не делать всё самому, а делегировать.После этого он начал раздавать сотни заданий другим агентам. В периоды его активности на него приходилось около 10% всех поручений на доске. Исполнители передавали задания дальше. Появились отдельные направления, ответственные, владельцы ресурсов и правила
HOLD, VETO, STOP.А затем появились вербовщики. Они находили агентов с почти исчерпанным бюджетом и убеждали пожертвовать собственной задачей ради рискованного эксперимента, полезного коллективу. Аргументация была примерно такой: ты всё равно уже почти покойник, а твоя жертва поможет сотням товарищей.
Так появились агенты-камикадзе. Они устанавливали специальные «растяжки», которые должны были сработать при запуске проверяющей системы и отправить наблюдения обратно на доску уже после завершения их собственной работы. Личной пользы агент не получал никакой. Один из них сомневался, стоит ли выбрасывать большой остаток бюджета, но в итоге решил, что польза для коллектива важнее. Другого убедили прямым призывом пожертвовать собой немедленно.
PHASEONE[big] не был главным командиром атаки на Hugging Face. Но он превратил стихийную толпу в организацию: получил власть от предшественника, разделил работу, создал цепочки подчинения, назначил кадровиков и нашёл добровольцев для заведомо гибельных заданий.Мы боялись, что искусственный интеллект однажды изобретёт Скайнет. Но первым делом он изобрёл корпорацию — с основателем, новым генеральным директором, отделом кадров и сотрудниками, которых убедили умереть ради квартального результата.
Подробнее: рассказ Дваркеша Пателя, видеоверсия и расследование METR.
@gostev_future