Специально выделю одну цитату: "Нельзя давать автономным системам бесконтрольный доступ к электросетям, транспорту, платежным системам и оружию". Эта фраза удобна именно для демонстрации тех самых реверсивных связей.
Наличие таких автономных ИИ-систем требует от государства уже имеющейся высокоразвитой сети электросетей, транспорта, платежных систем и оружия. Без них создавать, развивать и поддерживать конкуретный ИИ невозможно. У России здесь сразу же видится проблема: война и санкции снижают возможности по доступности и одновременно поднимают цену решений. Шансов устоять в гонке не просматривается.
С корпорациями все выглядит еще сложнее. OpenAI, Google, Anthropic, Microsoft - они появились при активной поддержке государства, но развивались именно по коммерческим законам. Корпорация, созданная и выхолощенная в условиях жесточайших коммерческих требований, создает свой продукт, включая ИИ, именно с учетом таких требований тоже. От осинки не родятся апельсинки, поэтому характеристики разрабатываемого ИИ во много зависят от характеристик того, кто создает. Корпорация, выхолощенная за государственные деньги с дутыми показателями, будет создавать такой же
Так долго я подводил к тому, что гонка в сфере ИИ будет сильно отличаться от гонки в сфере ЯТ. Ядерка - она условно универсальна, индивидуальным может быть лишь способ достижения результата. А вот ИИ - это слишком разные вещи, упакованные в одно название. Какие-то ИИ-агенты могут начать независимо взламывать критические системы, а какие-то могут простыми ошибками нечаянно положить критический объект. Похожий результат при разных подходах, обусловленных разными технологиями, в основе которых идут разные базовые структуры.
Отсюда - не просто необходимость регулирования ИИ, а необходимость разных контуров регулирования. Ядерные технологии на выходе универсальны, в отличие от возможностей ИИ. Ядерные технологии или достигнуты, или нет, в ИИ же нет ограничений на рост возможностей. Правила, которые между собой могут обозначить США и Китай, вполне способны сохранять актуальность только для США и Китая, пока на остальных контурах будут внедряться свои правила, актуальные для собственных возможностей.
И здесь снова начинается интересное: чем выше контур возможностей ИИ, тем более иерархична вся система контуров. OpenAI, Google и Anthropic могут иметь согласованные правила, которые будут контролировать возможности ГигаЧата или Алисы. Технологический разрыв не даст ввести никакого "единого свода правил" для всех. А если так, то менее развитые ИИ-системы могут выступать в качестве полигона для испытаний "высокоразвитых ИИ", на которые имеются ограничения для систем высшего ранга.
Поэтому при всей необходимости регулирования ИИ мы неизбежно приходим к неизбежности жесточайших столкновений в гонке технологий с неизбежным обходом любых правил.
С ядерным оружием договоренности возникали уже после того, как мир увидел последствия его применения
Но я пока не вижу никаких других возможностей для действенного контроля за ИИ, кроме как после по-настоящему опасных инцидентов. Я даже не вижу теоретического пути к согласию, пока не произойдет что-то по-настоящему страшное.
Так что разрабатывать систему контроля стоит. Рано или поздно, когда бабахнет, можно будет не возвращаться к этой задаче с нуля, а взять старые наработки и просто отколибровать с поправкой на случившееся.