С интересом 🍿 продолжаю следить за бурей дискуссий в американском хайтеке по итогам письма в защиту открытых моделей, которое вынес в публику Дженсен Хуанг и 25 подписантов, но без Гугла, Антропика и OpenAI.

Альтман ответил в жанре «и вашим, и нашим»: хочу, чтобы США выиграли и в open source, и в проприетарном. При этом Дин Болл, глава стратегического форсайта OpenAI, незадолго до того писал, что вероятный исход мира с доминированием открытых весов — «полный ИИ-коммунизм». Через день компания подписала. Форсайт такой форсайт.

Сейчас там 77 подписантов, из новых Google, AMD, Cloudflare, GitHub, Cisco.
Не подписали двое: Amazon и Anthropic. Это явно не два решения, а одно: Amazon — крупнейший инвестор Anthropic.

Но Амодеи высказаться пришлось. Пост «Our position on open-weights models» написан явно потому, что Anthropic записали в лоббисты запрета. Дарио вышел весь в белом и выдал одно отрицание и три требования.

Отрицание: Anthropic никогда не выступала за запрет open-weights как класса. Модели без опасных возможностей — общественное благо, а запрет американским компаниям на китайские открытые модели не решает ничего: злоумышленники — не легальный американский бизнес. Такой запрет защитил бы ИИ-компании от конкуренции, но это не цель.
(звучит отлично, но письмо все равно не подпишем почему-то)

Требования:
1. Не продавать Китаю мощные чипы и оборудование для их производства, давить контрабанду. Логика — scaling laws: без американских чипов Китай не построит модель мощнее американской.
2. Пресекать промышленную дистилляцию. Она дешевле обучения с нуля и позволяет обойти чиповые ограничения, сократив отставание до месяцев. Что дистиллирующие компании публикуют открытые веса — вторично; важно, что за ними стоит авторитарное государство.
3. Обязательное тестирование безопасности всех достаточно мощных моделей — открытых и закрытых, любой юрисдикции. Причём глобальное — с участием Китайской Коммунистической Партии. Дословно: «даже КПК придётся быть в деле».

Две «кошмарные» угрозы, из которых выводится позиция: авторитарные государства получают ИИ мощнее американского — для военного превосходства и репрессий; и злоупотребление моделями для кибер- и биоатак плюс модели, которые делают не то, чего от них хотели.

В одном абзаце — не продавать Китаю чипы и душить дистилляцию, в следующем — сесть с ним за стол по биорискам. Амодеи противоречия не видит: гонка за фронтир отдельно, общий интерес в неприменении биооружия отдельно.

Смена рамки: спор «открытые против закрытых» подменяется спором «чипы, дистилляция, сертификация». Anthropic годами продвигает обязательное pre-release тестирование — третий пункт ровно оно. «Мы не за запрет, мы за обязательную сертификацию» - просто другое определение для запретов.

Кстати, в списке «кошмарных сценариев» Амодеи ссылается на инцидент HuggingFace/OpenAI. Тот же инцидент на днях прокомментировал Альтман: «мы сейчас, типа, в сингулярности, я ждал этого всю жизнь, и это будет потрясающе».

Для одного — прекрасное будущее. Для другого — вторая по счёту кошмарная угроза.

@gostev_future