Тут целая драма развернулась в сфере ИИ на прошлой неделе. Без преувеличений регулирование ИИ и RSI — самая горячая тема сейчас. И по большому счету есть только две страны в мире, которые могут что-то друг другу противопоставить: США и Китай.

P.S. RSI — recursive self-improvement или рекурсивное самоулучшение.

Вот вам краткая сводка и некоторые рассуждения ниже.

Во вторник, 8 сентября, никому неизвестный исследователь Anthropic объявил в своем пустом аккаунте X об уходе из компании и из индустрии в целом. Причина: все ИИ лабы «несутся к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Пост неожиданно прокомментировал другой инженер Anthropic, который как раз руководит Alignment Science: «мы внутри оцениваем вероятность того, что ИИ убьет всех людей в >10%». Тред набрал более 90 млн просмотров за сутки, а уволившегося автора тут же позвали на интервью WSJ, TIME и Axios.

Всю неделю все обсуждали: постановка это или реально?

Потом в субботу, 12 сентября, глава Anthropic Дарио Амодеи публикует эссе «We Must Pace the Frontier» с прямым призывом замедлить наращивание возможностей моделей.

Амодеи предлагает:

— Встроенные независимые оценщики с постоянным доступом на уровне сотрудника. Anthropic уже вводит это в одностороннем порядке.

— Широкий международный пакт между демократиями.

— Более жесткие ограничения на вычислительные мощности и дистилляцию для Китая, а затем отдельный международный режим с его участием.

— И вишенка: до появления национального регулирования освобождение от антимонопольного закона Шермана, чтобы Anthropic могла координироваться с OpenAI и другими лабораториями, не опасаясь исков.

Затем последовала реакция всей индустрии.

Сэм Альтман (OpenAI): встроенные внешние оценщики — хорошая идея, OpenAI сделает то же самое.

Илон Маск: «Дарио прав». Потом добавил, что open-weight модели никто замедлять не будет.

Демис Хассабис (Google DeepMind): эссе — «шаг в правильном направлении».

Дэвид Сакс: Дарио и Сэм могут замедляться в одностороннем порядке. Запрос на антимонопольное освобождение — это просьба разрешить картель.

Шрирам Кришнан (бывший советник Белого дома по ИИ): оценщики должны быть из организаций, не аффилированных ни с одной лабораторией.

Клем Делангю (Hugging Face): готовы выступить нейтральным оценщиком.

Итого: у OpenAI и Anthropic появятся встроенные независимые оценщики. Есть точка зрения, что это позволит лабам в будущем избежать исков по product liability, потому что ответы ИИ не защищаются по правилам Section 230. Наличие таких оценщиков поможет доказать отсутствие вины или хотя бы проявление должной осмотрительности.

За этим, вероятно, последует какая-то реакция со стороны Белого дома, хотя Трамп уже дал сигнал: гонка с Китаем важнее, guardrails можно навесить, но раздуваемые риски, по его словам, «не случатся».

В ближайшее время Anthropic должен опубликовать свой проспект эмиссии перед IPO (Form S-1). Посмотрим, как они там оценят вероятность, что ИИ всех убьет.

Регулирование ИИ точно появится в какой-то мягкой форме. Но гонка с Китаем не даст американцам права на передышку или паузу. За что этим двоим должен быть благодарен весь мир. Но настоящая гонка будет между open-weight моделями и проприетарными. Если американцы не запретят открытые модели, то их попробуют завалить частными исками, а потом они будут распространяться как пиратский контент.

@buzko_hub