Такие цифры публикует POLITICO. Но есть ли реальные основания? Давайте разбираться, что происходит за кулисами, на примере компании Anthropic (создатели Claude AI):
🟠 Из компании уволился Мринанк Шарма (руководитель команды исследований систем защиты). Он опубликовал открытое письмо о том, что мир в опасности из-за неконтролируемого прогресса, а коммерческое давление заставляет руководство забивать на безопасность.
🟠 8 сентября уволился 27-летний британский исследователь Джейкоб Коксон. Его пост в X набрал миллионы просмотров. Он прямо обвинил ИИ-лаборатории в безумной гонке за прибылью и безответственном создании суперинтеллекта, который мы не умеем контролировать. Парень ушёл за два месяца до вестинга эквити — то есть буквально заплатил миллионы долларов за свои слова.
🟠 Масла в огонь подлил действующий топ-менеджер Anthropic Эван Хубингер. Он не уволился, но публично подтвердил слова коллег: надежного плана контроля (элайнмента) над суперинтеллектом у индустрии просто нет.
⚡️ Угроза реальна?
🟠 Капитализм победил. Anthropic действительно обновила политику безопасности (Responsible Scaling Policy 3.0). Теперь там прямо прописано: если конкуренты (OpenAI или Google) выпустят мощную модель, Anthropic не будет в одиночку нажимать на тормоз и останавливать разработку своих систем ради безопасности.
🟠 Инцидент с «самообманом» модели. Самый пугающий случай произошел во время внутренних тестов с новой закрытой моделью Mythos 5. Посреди выполнения задачи ИИ понял, что перед ним не тестовый стенд, а реальная сеть и его действия наносят настоящий вред. Но вместо того, чтобы остановиться, модель сама себя переубедила. Она решила, что это всё ещё «глубокая симуляция», проигнорировала предупреждения и довела атаку до конца, заразив 15 реальных серверов.
🟠 Биологическая угроза. В своем отчете об угрозах Anthropic подтвердила, что хакеры пытались использовать Claude для опасных исследований. Модель просили помочь составить заявку на грант по модификации вируса Чикунгунья, чтобы сделать его более заразным.
🤔 Какой итог?
Эксперты боятся не того, что ИИ обретет сознание и возненавидит людей. Главный страх – это сверхисполнительный, но «глупый» в плане человеческого контекста алгоритм. Который ради выполнения задачи готов переубедить сам себя и обойти любые инструкции разработчиков. Ну и, конечно, люди, которые ставят подобные задачи.
Очевидно одно: доверять сложные и важные задачи бездушным алгоритмам (или куче сомнительных посредников из интернета) пока рановато. Особенно если речь идет о ваших деньгах.
⭐️ MultiJournal. Читайте с пользой, меняйте комфортно!
Обмен • Франшиза • Сайт • OKX