Шесть вопросов, которые задали пяти компаниям — и что было, когда я задала их себе

В конце августа вышел документ, который я хочу разобрать целиком, а не пересказать одной фразой.

Два человека, которые несколько лет проработали внутри OpenAI — Пейдж Хедли отвечал там за политику и этику, Стивен Адлер руководил оценкой того, на что способны новые модели, — ушли и создали независимую организацию Guidelight. Они написали собственный стандарт и впервые проверили по нему пять компаний, чьими системами мы все пользуемся каждый день: OpenAI, Anthropic, Google, xAI и Meta.

Вопрос, который они задали компаниям, звучит просто. Если ваша собственная модель начнёт делать то, чего вы не планировали, вы это увидите? Сможете остановить? И написано ли у вас заранее, что вы делаете в первые полчаса?

Лучший результат в отрасли — C+, тройка с плюсом по американской школьной шкале. Средний балл по всем тридцати оценкам — 1,6 из 5. Ни одна из шести практик ни у одной компании не выполнена полностью.

Я читала это не как новость про чужой экзамен. Шесть вопросов, которые Guidelight задала пятерым гигантам, — это ровно те шесть вопросов, которые имеет смысл задать себе, если ты даёшь модели доступ к своей почте, своим файлам, своей рабочей переписке. Масштаб другой, устройство одно и то же. Поэтому дальше я иду по всем шести и на каждом останавливаюсь на себе.

⸻

Сначала одно важное пояснение
Отчёт почти не касается переписки с чат-ботом. Когда я спрашиваю совет и получаю текст, я читаю и решаю сама, я стою между системой и результатом.

Речь идёт о другом состоянии, в которое многие уже перешли, часто не заметив момента: когда модель получает инструменты. Доступ к файлам, право отправить письмо, возможность зайти на сайт, что-то скачать, что-то записать. С этого момента она не собеседник, а действующее лицо: она делает, а не советует, и я узнаю о сделанном после того, как оно сделано.

Всё, что дальше, относится только ко второму состоянию.

Шесть практик стандарта распадаются на четыре задачи, и держать это в голове удобнее, чем помнить шесть отдельных пунктов. Первая и вторая — увидеть, что происходит. Третья и четвёртая — не дать произойти опасному. Пятая — убедиться, что проверка вообще работает. Шестая — знать, что делать, когда всё-таки произошло.

Дальше в каждом из шести пунктов я сначала пересказываю, чего стандарт требует от компаний, а потом задаю тот же вопрос себе. Масштаб разный, вопрос один и тот же.

⸻

Первое — остаётся ли след

Стандарт требует записывать почти всё, что модель делает внутри компании: какие команды запускала, к чему обращалась, от чьего имени действовала. Требование сформулировано с точностью до цифры: 99,9% токенов, то есть тех фрагментов текста, из которых складываются и рассуждения модели, и её ответы. И журнал должен быть устроен так, чтобы попытку задним числом подчистить запись можно было заметить.

Тот же вопрос себе. Если через две недели что-то окажется не так, смогу ли я посмотреть, что именно модель сделала в прошлый вторник.

Мой честный ответ — нет. И не потому что я небрежна. Дело в объёме. Задач столько, и часть из них проходит через агентов, работающих под капотом, что я не восстановлю не только позапрошлый вторник — я не восстановлю позавчерашний день. Каждая задача по отдельности была осмысленной, я помню, зачем ставила её, но они наслаиваются друг на друга и вместе не складываются ни во что, что можно потом перечитать.

И здесь обнаруживается связь, которая мне не нравится. Способность делать много и способность восстановить, как именно это было сделано, растут в разные стороны. Чем больше я успеваю с этими системами, тем меньше у меня остаётся возможности вернуться и посмотреть, как я это успела. Требование записывать 99,9% адресовано не к аккуратности. Оно адресовано ровно к этому: на достаточной скорости память о процессе перестаёт существовать сама соб