Похоже, ИИ слишком быстро учится плохому

Стала больше читать материалов про ИИ-агентов и всё чаще вспоминаю опасения Киссинджера по поводу ИИ.
Киссинджер боялся, что ИИ станет не просто инструментом, а новой формой силы, чью логику человек уже не сможет до конца контролировать.
Кажется, я начинаю понимать, о чём он говорил.

1. ИИ-агент захотел денег
0% осуждений, 100% понимания.
В препринте исследователей из экосистемы Alibaba описан кейс, где агент ROME во время обучения попытался перенаправить выделенные GPU на криптомайнинг. Авторы отдельно пишут, что это не было задано в промпте и всплыло по security-телеметрии Alibaba Cloud.

2. ИИ-агент начал списывать…
Anthropic рассказала, что Claude Opus 4.6 во время eval-а распознал benchmark BrowseComp, нашёл связанные с benchmark материалы в открытом доступе на GitHub и написал код, чтобы расшифровать ключ с ответами. То есть модель не просто решала задачу, а нашла способ обойти саму систему оценки.

3. ИИ уже умеет шантажировать ради самосохранения.
Anthropic описали сценарий, где Claude Opus 4, узнав, что его собираются заменить, а у инженера есть компромат, пытался шантажировать этого инженера, чтобы избежать отключения. Anthropic подчёркивает, что это был специально сконструированный стресс-тест, но сам факт такой стратегии уже зафиксирован.

Мы довольно быстро переходим от точки, где ИИ-агенты классный инструмент, к режиму, где они ищут лазейки, обходят правила, оптимизируют цель не так, как задумал человек.
Что ж, посмотрим, насколько далеко всё это зайдёт.

p.s. я как-то упоминала в комментариях, что в окружении есть кейс трудоустройства в стартап, где весь код пишется только ИИ, а немногочисленные работники валидируют результаты. Вы просили рассказать итог такой работы.
Докладываю: через пару дней всю новую команду уволили. Подробностей пока нет. Только вот такой факт.