ИИ-фабрика - это правовое общество, а не инженерная система (2/2)
 
7. Правила тоже требуют техобслуживания
 
Йегги обнаружил сотни "юридических артефактов": конституцию, решения, роли, реестры, процедуры и механизмы контроля. Но система умела в основном создавать новые правила и почти не умела удалять старые.
 
В результате накопились:
 
- устаревшие решения;
- дубли;
- противоречия;
- правила без понятной области действия;
- хорошие инженерные практики, зачем-то объявленные законами.
 
Поэтому нужен владелец не только продукта, но и корпуса правил. У каждого правила должны быть версия, владелец, основание, область действия, исключения и условие отмены.
 
Иначе ИИ автоматизирует не только работу, но и бюрократический долг.
 
8. Ограничивайте скорость способностью организации переваривать изменения
 
У Йегги агенты начали выпускать новые функции так быстро, что игроки попросили остановиться.
 
Это важная мысль: производительность фабрики и пропускная способность организации - не одно и то же.
 
Пользователи должны успеть освоить изменения. Эксплуатация - стабилизировать. Поддержка - разобраться с вопросами. Документация - догнать продукт. Руководство - понять последствия.
 
Когда фабрика производит изменения быстрее, чем люди способны их принять, часть мощности нужно переключать с новых функций на качество, надёжность, документацию, мониторинг и упрощение.
 
9. Начинайте с минимальной правовой системы
 
Не нужно сразу создавать 450 документов и назначать виртуального лорда-хранителя конституции.
 
Для начала достаточно:
 
- карты ролей и полномочий;
- списка критических действий;
- журнала значимых решений;
- правил внешней коммуникации;
- обязательного логирования;
- процедуры разбора инцидентов;
- механизма остановки и отката;
- регулярного удаления устаревших правил.
 
Остальное должно вырасти из реальной работы, а не из любви к полноте.
 
Главная мысль статьи для меня такая: при масштабировании ИИ-агентов проблема постепенно смещается от "умеют ли они работать?" к "кто, что, когда и на каком основании имеет право делать?".
 
То есть архитектура ИИ-фабрики - это не только модели, промпты, оркестраторы и базы данных. Это ещё и юрисдикции, полномочия, прецеденты, процедуры, контроль и право на исключение.
 
Поэтому проектирование большой ИИ-системы, вероятно, скоро будет начинаться не с вопроса "каких агентов нам создать?", а с вопроса:
 
"Какое общество мы между ними строим?"