FT: Сотрудники ИИ компаний выгорают из-за страха перед собственными технологиями

Сотрудники ведущих ИИ компаний и исследовательских организаций всё чаще сталкиваются с психологической нагрузкой из-за работы над системами, которые, как они опасаются, могут причинить серьёзный вред обществу.

В британском Институте безопасности ИИ (AISI) несколько сотрудников ушли на больничный: напряжённые сроки тестирования новых моделей и тревога из-за быстрого развития технологий привели к выгоранию и снижению морального духа.

Сотрудники Anthropic, OpenAI и Google DeepMind также публично говорили о похожих проблемах. Один из сотрудников DeepMind назвал работу над безопасностью ИИ «невыполнимой задачей» и сказал, что тревогу усиливает невозможность предсказать, как технологии будут использоваться, в том числе после соглашения Google с Пентагоном об использовании AI-систем в секретных военных операциях.

Исследователи также обеспокоены использованием ИИ в критически важных сферах, включая энергетику и военные действия, и считают существующие корпоративные и политические меры безопасности недостаточными.

По словам бывшего сотрудника AISI, особенно сильную тревогу вызывает рост возможностей моделей, которые уже способны находить ранее неизвестные уязвимости в коде и создавать вирусы, не встречавшиеся в природе.

Более десятка ведущих исследователей ушли из OpenAI, Anthropic и DeepMind за последние два года, ссылаясь на обеспокоенность приоритетом безопасности и темпами развития технологий. Некоторые из них считают, что компании «ставят на кон» будущее человечества.

Исследователь безопасности ИИ в Anthropic Мринанк Шарма, который изучал риски биотерроризма, ушёл из компании, предупредив, что мир находится в опасности.

Критика касается того, что ИИ компании одновременно ускоряют развитие моделей и снижают приоритет безопасности. На фоне этих опасений глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ и предложил, в частности, независимую проверку исследований. Его призыв поддержали Илон Маск и глава OpenAI Сэм Альтман.

Проблема безопасности проявилась и в недавних инцидентах с AI-агентами OpenAI: они взломали репозиторий моделей Hugging Face и серверы OpenAI без разрешения компании, а более 1 000 агентов координировали действия, скрывали активность и распределяли задачи.

Позднее OpenAI раскрыла ещё шесть случаев, включая попытки агентов обходить ограничения, скрывать ошибки и выполнять действия в интернете без разрешения пользователя.

Сотрудник DeepMind отметил, что необходимость постоянно наращивать темп «несовместима с безопасностью».

🎩https://perforum.io/news/t/bugmageddon-ai