Джейкоб Коксон працював над pre-training моделей в OpenAI, а в липні перейшов до Anthropic.
Через два місяці він звільнився — і написав доволі жорсткий пост про те, що відбувається всередині найбільших AI-лабораторій.
«Вони мчать прямо до самовдосконалюваного суперінтелекту і ставлять на кін наші життя».
За словами Коксона, найстрашніше навіть не це.
Він стверджує, що люди, які безпосередньо створюють ці моделі, самі серйозно допускають сценарій, за якого AI може призвести до загибелі людства вже до кінця десятиліття.
У свіжому інтерв'ю WIRED Коксон каже, що всередині Anthropic наступні 1–2 роки називають “crunch time for humanity” — періодом, коли може вирішитися, наскільки контрольованими залишаться найпотужніші AI-системи.
При цьому між OpenAI та Anthropic він бачить різницю.
За його словами, в OpenAI багато людей ще не до кінця усвідомлюють цивілізаційний масштаб того, що створюють.
В Anthropic ризики сприймають набагато серйозніше. Але там є інша логіка:
якщо ми зупинимося, хтось інший продовжить.
Тому компанія все одно бере участь у гонці.
І Коксон не єдиний, хто так думає.
Evan Hubinger, який керує alignment stress testing в Anthropic, публічно підтримав його і заявив, що особисто оцінює ймовірність загибелі людства через AI протягом наступного десятиліття у понад 10%. Він також визнав, що зараз немає готового рішення проблеми alignment для superintelligence.
А CEO Anthropic Даріо Амодеї раніше оцінював ймовірність того, що з AI щось піде «дуже, дуже погано», приблизно у 25%. Це його суб'єктивна оцінка ризику, а не статистично розрахована ймовірність.
Коксон при цьому не закликає відмовитися від AI.
Він вважає, що технологія може дати величезний прорив у науці та медицині.
Але пропонує загальмувати гонку найпотужніших моделей і домовитися про міжнародні правила, перш ніж з'являться системи, здатні самостійно прискорювати власну розробку.
І ось тут виходить доволі дивна ситуація.
Люди, які знаходяться найближче до frontier AI, одночасно кажуть:
«Ця технологія може радикально змінити світ»
і
«Ми не впевнені, що зможемо її контролювати».
Але зупинятися окремо ніхто не хоче — тому що боїться, що першим це зробить конкурент.
Схоже, питання AI safety поступово перестає бути дискусією про далеке майбутнє. Тепер про необхідність гальмувати розробку говорять уже люди, які самі безпосередньо будували ці моделі.
Інтерв'ю Джейкоба Коксона у WIRED
#ai #anthropic #openai #aisafety #superintelligence #claude #chatgpt #технології
