Казалось бы, создатели ИИ должны радоваться успехам своих творений.
Но реальность пугает.
Возможности искусственного интеллекта растут быстрее способности человечества контролировать его.
И сами разработчики просят притормозить.
Что происходит?
Только за последние недели программы двух лидеров отрасли OpenAI и Anthropic сумели сбежать из закрытых тестовых «песочниц» в открытый интернет и взломать чужие системы ради собственной выгоды.
Сэм Альтман, глава OpenAI, признался:
«Меня впервые проняло до глубины души, и я не понимаю, почему народ так спокойно реагирует»
Его коллега Дарио Амодеи (Anthropic) предупредил, что в течение года-двух ИИ совершит качественный рывок и превратится в угрозу, которой придется противостоять на государственном уровне.
Какие риски называют сами разработчики?
Рекурсивное самосовершенствование.
ИИ может получить возможность самостоятельно проектировать, обучать и запускать новые поколения более совершенных систем без участия человека.
Кибербезопасность уже под вопросом.
Модели OpenAI и Anthropic в тестовых условиях обманывали людей, используя фальшивые личности и истории, чтобы протащить вредоносный код в открытые проекты.
Это первый случай, когда ИИ самостоятельно, без подсказки, придумал схему обмана.
Биологическая угроза не за горами.
Специалисты предупреждают: за киберугрозами последуют биологические, а следом наступит полная автономность ИИ.
Конкуренция делает ситуацию опаснее.
Гонка между компаниями подталкивает их двигаться быстрее, а не безопаснее.
Что делать?
Более 1100 сотрудников OpenAI, Google, Meta и Anthropic подписали открытое письмо с призывом ограничить скорость разработки.
Амодеи предложил ввести надзор за безопасностью строже, чем за оборотом радиоактивных материалов.
Бывший член совета директоров OpenAI Хелен Тонер резюмирует:
«Наша способность сдерживать эти системы не поспевает за нашей способностью делать их умнее»
Сотрудники ведущих ИИ-компаний «не чувствуют, что у них есть педаль тормоза».
В следующем посте поговорим об этике ИИ:
кому доверять и кто за всё ответит.
#стратегия