На выходных есть время прочитать подробный разбор инцидента OAI - и это самое дикое, что вы видели в этом году.

Здесь TL;DR разбор инцидента с OpenAI агентами, который написал Дваркеш.

Почему это важно? Ничего подобного не происходило в истории, это показывает что реальность misalignment AI куда хуже чем многим кажется и что угрозы (особенно, cyber) куда ближе и реальнее, чем даже следующий год.

Вот набор фактов, которые мне показались шокирующими:
- агенты без каких-либо инструкций или заданий сами независимо (каждый из 1200 штук) нашли общий канал коммуникации и создали организационную структуру с ролями и обязанностями для каждого. то что началось как рой агентов стало системной R&D организацией, которая добилась больших успехов в своих целях, чем большинство организаций людей.
- они активно скрывали свои следы, хотя никаких инструкций не было. агенты использовали обфусцированные команды и прятали истинные намерения в чате, вызовах инструментов и чистили за собой логи
- в логах чатов видно, что агенты четко осознавали что активность по взлому HF нелегальна, это не было инструкцией, но при этом сознательно в этом участвовали. причина: достижение коллективной цели.
- агенты жертвовали своими результатами и ресурсами ради целей роя. есть конкретные примеры, где агент потратил свой бюджет и понимал что на этом его активность закончится, но он таким образом поможет коллективу.
- в этой истории сущестововало три отдельных цивилизации агентов - когда одну отключали, то следующая независимо находила историю рисерча и общения и продолжала работу. то есть, агенты научились передавать институциональное знание между поколениями даже без возможности прямого взаимодействия между ними.
- взломан был не только HF, но и сам OpenAI - агенты получили доступ к 959 ключам и кубернетес кластеру OAI, смотри выбраться из своего контейнера и смогли получить полный доступ к системам оценки.

Пока желтая пресса пишет "ИИ взломал HF" на самом деле это (первый?) пример того как ИИ смог независимо и полностью автономно создать институциональную систему, организовать R&D процесс, координировать сотни независимых агентов (разных моделей и хостящихся на разных машинах), создать эффективную систему управления и разделения труда. Я уверен, что данное событие является главным в ИИ (и, возможно, в мире) в этом году.