👽 Искусственный интеллект. Мнения. США

Anthropic предупредила о рисках утраты контроля над самосовершенствующимся ИИ

Представители американского Anthropic в июне в очередной раз предупредили о рисках потери людьми контроля над автономным ИИ при его рекурсивном самосовершенствовании, которое, по словам разработчиков, может наступить намного раньше, чем думают обыватели. Речь идет о развитии систем, способных проектировать и разрабатывать своих преемников в полностью автономном режиме.

Модели ИИ удваивают длину (а с ней и сложность) задач, которые они могут надежно выполнять самостоятельно, каждые четыре месяца. При этом, еще недавно речь шла о 7 месяцах. В частности, появившийся в 2024 году Claude Opus 3 мог выполнять задачи, занимающие у человека около 4 минут – уже спустя год Claude 3.7 справлялся с задачами, отнимающими у человека до полутора часов. Claude Opus 4.6, появившийся в 2026 году, справляется с задачами на 20 часов, а модели 2027 года, как ожидается, смогут безошибочно выполнять задачи, решение которых требует недели человеческой работы!

Данные Anthropic от мая 2026 года показывают, что 80% кода компании было написано Claude. ((Важно отметить, что это не значит, что ИИ уже обходится без людей, просто люди в большей степени занимаются архитектурой и стратегией, а модели берут на себя генерацию, тестирование и итерации. Причем люди для контроля за кодом внедряют петли проверки, автоматизированные ревьюверы и другие механизмы)).

По словам представителей компании, рекурсивное самосовершенствование еще не наступило и не является неизбежным, однако именно к этому сценарию нас влечет колея исторического развития. Официальная позиция Anthropic – «следует замедлить или временно приостановить разработку передового ИИ, чтобы социальные структуры и исследования не отставали от технологического развития».

Мы, в свою очередь, надеемся на то, что никакой паузы не будет - по сравнению с проблемами, создаваемыми людьми, ИИ выглядит безгрешным младенцем. Кто знает - а вдруг ИИ справится лучше? Да и в целом, чтобы превзойти современных управленцев, большого ума не нужно.

((по материалам AI Magazine))

✓ подписаться на tg-канал ART и на канал Бойко про телеком в VK