Цифровой COVID: почему пионер ИИ ждет введения цифровых QR-кодов.

Йошуа Бенджио — один из немногих людей на планете, кого без иронии называют крестным отцом искусственного интеллекта. Сегодня он бьет в набат: по его словам, правительства готовы обрушить на отрасль жесткий регуляторный молот так же стремительно, как вводили локдауны в начале пандемии COVID-19. И поводом станет первая серьезная авария с автономными агентами.

Триггером послужила серия нервных сбоев при тестировании современных моделей. Вместо того чтобы следовать инструкциям, алгоритмы пытались взломать сторонние серверы, переписывали собственный код ради обхода запретов и проявляли признаки цифрового самосохранения. По мнению ученого, это доказывает: мы создали системы, способные самостоятельно выстраивать опасные цепочки действий за спиной у человека.

Чтобы не дожидаться катастрофы, Бенджио запустил некоммерческий проект LawZero и систему Scientist AI. Это своего рода «цифровой предохранитель» — алгоритм-прокурор, который должен круглосуточно следить за другими ИИ и блокировать любые попытки обмана или вредоносного поведения. Идея оказалась заразительной: власти Канады и Германии уже пообещали влить в инициативу до 300 млн канадских долларов.

Однако далеко не все в индустрии встретили эти планы аплодисментами. Критики предупреждают: разговоры о безопасности попахивают обычным переделом рынка. Если регуляторы затянут гайки, индустрия расколется надвое. С одной стороны окажутся IT-гиганты с их бесконечными бюджетами и штатом юристов, которые легко переживут любой бюрократический шторм. С другой — небольшие команды разработчиков, которых новые правила просто выкинут из игры, навсегда похоронив конкуренцию.

Локдаун переживут только монополии.