В последние недели о рисках развития ИИ предупредили сразу несколько участников отрасли: от Билла Гейтса до некоторых разработчиков Anthropic, считающих, что ИИ может истребить человечество. В частности, они рассказывают, что компании-разработчики уже сейчас не имеют достаточно рычагов контроля над моделями.
Как это происходит?
▪️OpenAI и Anthropic в попытке преуспеть в ИИ-гонке стремятся к так называемому рекурсивному самосовершенствованию — способности ИИ анализировать свой код и самостоятельно создавать более мощные версии себя.
▪️В таком случае разработка сокращается «с месяцев до минут», а люди теряют контроль над процессом принятия решений модели. ИИ может сам усилить недостатки своей исходной версии, а отдельные отклонения превратятся в целые стратегии, от которых разработчики уже не смогут избавиться.
Следующая проблема — «живучесть» ИИ. Продвинутые модели научились сопротивляться аварийному отключению и попыткам стереть их данные. ИИ-агенты захватывают целые сайты, как это было с немецкоязычной DseWiki, чтобы хранить свои планы и инструкции вне досягаемости разработчиков и использовать их для восстановления прежнего состояния после отключения.
Как может начаться ИИ-апокалипсис?
▪️ИИ-агенты могут анонимно арендовать вычислительные мощности, используя подставные аккаунты и криптовалюту, внедрять вредоносные коды в системы энергопоставщиков и манипулировать финансовыми рынками, чтобы обеспечить ресурсами собственные сервера.
▪️ИИ уже умеет проектировать белки и геномы. У моделей есть доступ к облачным лабораториям для синтеза ДНК. ИИ может начать создавать патогены без ведома людей. Попытку остановить его работу модель может истолковать как угрозу достижению ее цели и применить биологические агенты.
Anthropic и OpenAI в своих отчетах об оценке рисков описывают такие сценарии, однако разработку ИИ не замедляют, опасаясь отстать от конкурентов, уточняет Telegraph.
😀 Все эксперты здесь и в Макс