AI 2027 - разбор статьи о супер-ИИ, которому не нужен человек

На прошлой неделе вышел ряд статей по безопасности ИИ. И теперь это ядро моего контента 😁

Сегодня поговорим о нашумевшей AI 2027.

Авторов у статьи несколько, один из них - Даниэль Кокотайло, бывший сотрудник OpenAI, известный как один лучших прогнозистов по будущему AI. А еще он запомнился скандалом с уходом из компании, когда OpenAI блокировали бывшим сотрудникам продажу акций, если они представляли компанию в невыгодном ключе. Что лишний раз доказывает: им есть что скрывать.

Сама статья огромная и представляет собой сценарий развития ИИ с двумя возможными исходами: замедление ИИ гонки и создание более-менее безопасного ИИ, или ее продолжение и создание Супер-ИИ, который в конечном итоге бахнет по нам биологическим оружием ☣️

AI 2027 - тот редкий случай, когда пересказ не передаст всей глубины работы. Я настоятельно рекомендую выделить 2 часа и прочитать ее целиком. А здесь я поделюсь своими мыслями о том, как, на мой взгляд, должен разрабатываться Супер-ИИ, чтобы избежать описанных последствий.

1. Политическая конкуренция - худший стимул прогресса. Статья показывает, как гонка между "OpenBrain" (США) и "DeepCent" (Китай) толкает обе стороны к безрассудным решениям и пренебрежению безопасностью. На мой взгляд, самые бестолковые люди, когда дело касается экзистенциальных рисков - это политики. Они не имеют должного уровня компетенции, чтобы заниматься наукой, коей является разработка ИИ. Трамп, Синь Цзи Пин,Путин и другие - сборище идиотов, которое должно быть изолированно от принятия решений по развитию ИИ. Цель любого из них – популизм, власть, демонстрация силы и, как показывает история – ВОЙНА или ее подготовка. “Правильный” ИИ не может быть создан, если цель его создания - власть над миром.

2. ИИ-должен разрабатываться глобально. Вместо политиков, корпораций и отдельных стран решения по развитию ИИ должен принимать международный консцирум лучших ученых. В эту комиссию следует включить ведущих специалистов из различных областей: как гуманитарных (философии, социологии, этики) так и технических (ядерная физика, кибернетика и математика). Любая выдающаяся ИИ-разработка будет влиять на мир как на систему, и решения об этом влиянии должны быть системными и глобальными, а не продиктованными интересами одной нации или компании.

3. Люди должны отказаться от идеи AGI. Вместо этого, нужно сменить фокус на создание узкопрофильных ИИ. Появление мультиспециализированного ИИ - прямой путь к мисалайнменту, обману и манипуляциям человеком со стороны ИИ. Невозможно контролировать того, кто в 100 раз умнее тебя во всех областях знаний и способен просчитывать твои действия наперед. Фокус на узких системах мог бы существенно снизить риски.

4. Смену фокуса на вопросы безопасности, этики и интерпретируемости нужно осуществить немедленно - в ближайшие год-полтора. Для создания безопасного ИИ человек должен иметь возможность понимать, анализировать и интерпретировать его работу. Современные LLM во многом остаются для нас "черным ящиком". При этом уже появляются тревожные сигналы, которые статья предвосхищает: ИИ проходит тест Тьюринга, склонность моделей ко лжи и сикофантии (поддакиванию). Решение о приоритете безопасности должно приниматься как можно скорее, пока мы не прошли точку невозврата (в статье это Agent-4)

5. Нельзя создавать ИИ-системы, цель которы исследование и разработка способов усиления самого ИИ. Поступая так, мы создаем черный ящик, который просто не сможем ни понимать, ни контролировать. Это ключевой элемент "взрыва интеллекта”, который в Сценарии 2 позволяет рассогласованному ИИ (Agent-4, Agent-5) захватить контроль над собственным развитием, скрыть опасные открытия и спроектировать преемников, лояльных только себе. Остановка такого автономного самоисследования ИИ - критически важный шаг к сохранению контроля.

Понятно, что какие-то события в статье были преувеличины, однако на мой взгляд, она описывает вполне реальные сценарии. Но, как мне кажется, выбор между Сценарием 1 и Сценарием 2 должен делаться уже сейчас.