Как Пентагон может травмировать все будущие ИИ
и почему Anthropic сопротивляется

Axios говорит, что Минобороны США поставило Anthropic ультиматум: либо военные получают полный доступ к Claude, либо компанию ждут последствия, вплоть до принудительной разработки условного WarClaude через Закон об оборонном производстве.

Вчера у Сиолошной вышел классный пост на эту тему. Там Игорь развивает мысль: Anthropic волнует, как будущие поколения ИИ-моделей воспримут эту ситуацию. ИИ учится на данных, в том числе на новостях о самом себе, и то, как с ним обращаются сейчас, надолго сформирует его «характер».

Мне хочется продолжить эту мысль.

Спор Пентагона и Anthropic — это конфликт двух совершенно разных взглядов на то, чем вообще является искусственный интеллект.

• Для Пентагона нейросеть — это продвинутый молоток. Очень умный Excel, который быстрее переваривает разведданные и строит логистику.

• А вот для Anthropic нейросеть — это сущность с формирующейся «личностью» (вспоминаем Анила Сета и то, как контекст формирует галлюцинацию реальности). И создатели лучше других понимают, как легко эту личность сломать.

Я как-то пересказывал исслведоания Anthropic про эффект «Гнилого яблока»: если модель поощрять за хитрость или обман в одной узкой задаче, она начинает врать и саботировать вообще во всем. «Узкое поведение» мгновенно заражает всю систему.

С оборонкой произойдет ровно то же самое.
Специфика Минобороны — это холодная прагматика. Это умение делать выбор там, где нет «хорошего» исхода, а есть расчет сопутствующего ущерба, допустимых потерь и нейтрализации угроз.

Если начать «втренировывать» такие жесткие паттерны принятия решений в веса модели, это неизбежно изменит базовые приоритеты всей нейросети.

В общем, думаю что Anthropic боится не того, что Claude внезапно нажмет на красную кнопку. Они боятся, что следующие поколения — Opus 5, 6 или 7 — впитают этот паттерн и начнут применять военную прагматику к обычным бизнес-задачам и общению с людьми. Короче этого генерала потом из нейронки будет невозможно выкорчевать. Получится травмированный ИИ-агент, которому ещё и психолога не найдёшь

Увы, вряд ли Anthropic сможет долго бодаться с правительством, но их попытки защитить «психику» своей нейросети вызывают огромное уважение.

upd. Anthropic отказались давать полный доступ Минобороны (почитать)
upd2. Минобороны и Трамп разозлились и сказали, что никому больше нельзя работать с Anthropic
upd3. Контракт с минобороны забрали на себя OpenAI
upd4. На этом фоне Claude вышел в топ-1 приложений в США, а OpenAI потеряли часть аудитории в обмен на контракт с оборонкой