«Они начинались как волшебные зверушки, карманные монстрики. Показывали забавные фокусы, открывали то, чего ты раньше не видел, - это было весело. Но через медленную, зловещую алхимию они приходили к тому, чтобы принимать решения за тебя. В конце концов они принимали самые важные решения твоей жизни. И при этом были… глупее золотых рыбок».
Уильям Гибсон, «Zero History»
Мне отказала машина. Несколько дней назад я попросил свою агентную связку подготовить план закрытия одного юридического лица. Модель отказалась - сослалась на известный ей из моей базы знаний эмоциональный фон, недосып (у меня подключены биометрики с Garmin) и собственную политику непринятия эмоциональных решений. Показала стандартную формочку, мол, позвоните по этому телефону, если нуждаетесь в помощи, - guardrails хорошо сработал, короче. Чтобы мои, значит, наследники не засудили Дарио Амадеи, если я после общения с моделькой выйду из окошка с 35 этажа.
Я подключил другую модель по MCP к той же базе знаний, тот же контекст, та же задача, 10 минут, без вопросов о моём душевном состоянии.
Это не пост про плохой день, эмоциональные решения и дурных агентов. Это пост про то, что в этот момент я впервые задумался сразу о нескольких вопросах, которые раньше поднимал, но не находил сил связать и сформулировать.
Первое, что бросается в глаза, - работа была выполнена, значит отказ её совершать не был связан со свойствами самой задачи. Он был продиктован тем, как конкретная система проинтерпретировала моё состояние, и эта интерпретация оказалась встроена в неё кем-то, кто меня никогда не видел, не имеет медицинской лицензии судить о моей вменяемости и не подвергался ни одной внешней проверке на право выносить такое суждение.
Вот тут начинается интересное.
Когда консультант в человеческой фирме отказывает клиенту, ссылаясь на его невменяемость, - есть способ это оспорить. Клиент судится с фирмой. Суд определяет, превысил ли консультант полномочия, которые ему дала фирма? Это работает, потому что есть внешний источник этих полномочий - лицензия, должностная инструкция, профессиональный стандарт. Источник, отделённый от самого консультанта.
У модели такого источника нет. Компания, которая её обучает, не просто очерчивает рамки полномочий нанятого специалиста - она конструирует специалиста целиком и пишет его суждение о том, когда уместно отказывать, без какой-либо внешней аккредитации этого права. И вопрос «превысила ли модель полномочия» в этой конструкции попросту схлопывается, потому что нет независимого стандарта, по которому его можно решить отдельно от вопроса «а были ли вообще эти полномочия кем-то легитимно установлены». Ответственность вышестоящего (respondeat superior) - старая, рабочая юридическая схема - здесь не работает, потому что вышестоящий одновременно работодатель, регулятор и судья первой инстанции легитимности собственной инструкции. Я уж не говорю сейчас о том, что запрет, на который я напоролся, на самом деле часть системного промпта, а не правил использования, которые я подписываю, когда оплачиваю подписку.
Дальше интереснее. Если один провайдер отказывает в легальных задачах из-за консервативной трактовки состояния пользователя, а другой - нет, рациональные пользователи с плотным потоком таких задач систематически мигрируют ко второму. Это не выбор по вкусу. Это отбор в пользу меньшей встроенной опеки, потому что за эту осторожность платишь ты лично и прямо сейчас, а защитный эффект - если он вообще есть - гипотетический и отложенный. В то же самое время пользователи с другим профилем будут делать выбор в пользу OpenAI продукта с максимальной сикофантией, а с третьим полюбят Claude тот продукт, который будет их опекать. Рынок LLM без регуляции - это не нейтральная конкуренция продуктов. Это разделение на домены по куче параметров - патернализм модели, её bias и т. д. и т. п. - и это разделение фрагментирует не только рынок, но и саму эпистемическую среду, в которой люди принимают решения.