Заряд оптимизма с утра заказывали? 🗿

Исследователь, специализировавшийся на предобучении LLM и обработке данных, ушел из Anthropic, обвинив ИИ-компании в безответственности

Джейкоб Коксон последние три года занимался претрейном в OpenAI и Anthropic (у них он значился как core researcher). Сегодня ночью он объявил об увольнении и написал в X целый тред о том, что компании, по его мнению, безответственно гонятся за самосовершенствующимся сверхинтеллектом, забывая про безопасность. Он назвал это «игрой с человеческими жизнями».

По мнению Коксона, скоро появятся сверхчеловеческие системы, способные взламывать что угодно, мгновенно совершать революции в любой области и накапливать реальную власть и ресурсы.

При этом он утверждает, что люди, разрабатывающие ИИ, тоже искренне в это верят. Как и в то, что технология может убить всех к концу десятилетия. По его словам, такие разгоны – не маркетинговый трюк, а наоборот. Якобы руководители смягчают публичные формулировки, но в частных разговорах выражают настоящий страх.

На вопрос "Но почему же тогда они продолжают?" Коксон отвечает, что в OpenAI многие не осознали масштаб цивилизационных ставок, а в Anthropic ставки понимают хорошо, но компания заперта в гонке: там героически считают, что раз другие не будут действовать ответственно, придется делать это самим, несмотря на риск. В итоге прогресс продолжается – из-за гордыни и авантюризма.

Джейкоб также обратился к другим исследователям и призвал их подумать, готовы ли они и дальше молча запускать сверхразумные модели без строгого понимания того, к чему это приведет.