чень чистый случай разрыва между ценностью и готовностью. Можно годами писать о безопасности, вкладываться в исследования, публиковать документы о принципах — и не иметь написанного ответа на вопрос, что делается в первые полчаса. Ценность — это про то, что для меня важно. Готовность — про то, что я сделаю руками в неудачный вторник. Второе не вытекает из первого само.

⸻

Цифра, которая объясняет, почему этого почти никто не делает

18 августа OpenAI опубликовала документ о том, что на две недели приостановила часть обучения самых мощных своих моделей после инцидента, и заодно раскрыла стоимость собственного наблюдения. Мониторинг обходится примерно в двадцать процентов вычислений той нагрузки, за которой он следит. Пятая часть мощности уходит не на работу, а на присмотр за работой.

Контроль — не галочка и не режим, который включается один раз. Это постоянный расход, который ни с чем не конкурирует на равных: он не приносит выручки, его не видит пользователь, и в любой гонке его режут первым.

У меня вычислений нет, у меня есть время и внимание, и я попробовала посчитать в этой валюте. Получается около сорока процентов: проверка, исправление, доработка, присмотр за тем, что уже сделано. Возможно, доля такая большая потому, что мне пока не хватает навыка, и со временем она уменьшится. Но сейчас это очень значительный расход.

Сравнивать эти два числа впрямую нельзя: у OpenAI это доля вычислений, у меня доля рабочего времени, и меряют они разное. И всё-таки порядок сопоставим, а направление одно: присмотр стоит не проценты, а десятки процентов, и никакая настройка не делает его бесплатным.

Отсюда правило, которым я теперь пользуюсь как проверкой: если наблюдение за системой не стоит мне ничего, я за ней не наблюдаю. Пятнадцать минут в месяц — уже наблюдение. Ноль минут — это доверие, у которого нет оснований, кроме того, что пока ничего не случилось.

⸻

Что осталось у меня после этого чтения

Не тревога. Документ вообще не про то, что ИИ опасен. Он про то, что никто пока не умеет за ним смотреть по-настоящему, и лучшие в мире команды честно ставят себе тройку. Если C+ — потолок у компаний с тысячами инженеров, то фраза «я не разбираюсь» перестаёт быть про мою некомпетентность. Разница между мной и ими не в том, что они знают ответ, а в том, что они задали себе вопросы вслух и записали ответы.

Когда я прошла все шесть, обнаружилось, что почти везде отвечает одно и то же. След не образуется, потому что задач больше, чем памяти о них. Ограничения снимаются, потому что в конкретную минуту так быстрее. Внимание не успевает, потому что растёт не оно, а другая сторона. Списка того, что надо было бы остановить, нет, потому что всё подключалось по ходу дела и не записывалось. Это не шесть разных проблем, а одна, увиденная с шести сторон: скорость, с которой я работаю с этими системами, обеспечена ровно тем, что я перестала оставлять себе следы.

Выбивается только пятый вопрос. Там мешает не темп, а нежелание показывать сделанное, и с этим не справится никакая настройка.

И ещё одно, что я заметила только к концу. Я привыкла считать, что контроль — это когда понимаешь, как что-то устроено внутри. В этом стандарте нет ни одного требования понять модель: ни интерпретируемости, то есть попыток заглянуть внутрь и увидеть, почему она решила так, ни согласования ценностей. Все шесть практик исходят из того, что внутреннее устройство останется закрытым, и учат обустраивать границу с тем, чего не понимаешь: видеть след, ставить стены, уметь остановить, знать, что делать после.

Какой-то минимум понимания граница всё же требует, только не от модели, а от того, кто на ней стоит: наблюдатель, который не умеет прочитать увиденное, не работает вовсе. Хватит ли границы там, где понимания нет, я не знаю, и стандарт этого не обещает.

Из шести вопросов я не закрыла ни одного. Что у меня появилось — это шесть честных ответов, все отрицательные, и защитой они не работают.

Сказать, что до них у меня было ощущение, будто всё под контролем, я не могу: такого ощущения не было никогда. Чем дальше, тем отчётливее другое — что сам контроль штука плохо контролируемая, и с этими системами особенно. Слово обещает больше, чем способно дать.

И всё же менять что-то нужно сейчас, пока запущенного и подключённого не стало больше, чем я в состоянии описать. Называется ли то, что я собираюсь делать, контролем, я не уверена. Скорее это попытка не терять из виду то, что я сама же и завела.
⸻

Источники

Guidelight, «Control Assessment of Frontier AI Companies»,