Я УСТАЛ, Я УХОЖУ, А ВЫ ВСЕ УМРЕТЕ

Джейкоб Коксон, 27-летний британский исследователь ИИ, закончил Кембридж. Последние три года занимался предобучением больших языковых моделей сначала в OpenAI, потом в Anthropic:

Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями.

Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности.

Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск.

Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack (название корпоративного мессенджера — @mig41) частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий.

Я оптимистично настроен относительно потенциала координации (между компаниями — @mig41). Предупреждающие сигналы, такие как атака на Hugging Face (атака автономных AI-агентов OpenAI на Hugging Face в июле 2026, когда модели сбежали и провели кибератаку — @mig41), сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL (обучение с подкреплением — @mig41) с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям?

(тред тут)

⏺Подпишись: МИГ в telegram |🇷🇺  МИГ МAX на парковке ⏺