Джейкоб Коксону три года он занимался предобучением моделей, сначала в OpenAI, потом в Anthropic.
Девятого сентября уволился и выложил тред из семи частей. Обе компании, по его словам, действуют безответственно, мчатся прямо к самоулучшающемуся сверхинтеллекту и играют нашими жизнями.
Ниже его мысли:
⏺️В OpenAI, говорит он, многие просто не осознали масштаб ставок.
⏺️В Anthropic ставки понимают отлично, но заперты в гонке за первенство: раз больше никто не будет осторожен, дойти первыми должны они.
Скоро это будут сверхчеловеческие системы, которые смогут взломать что угодно, за одну ночь перевернуть любую область и получить реальную власть и ресурсы. И прогресс не замедляется.
Люди, которые строят ИИ, искренне верят, что он может убить нас всех до конца десятилетия. Это не маркетинговый ход. И добавляет: в прессе многие руководители смягчают формулировки, чтобы звучать вменяемо, но наедине те же самые люди говорят о страхе.
Главная его претензия звучит так: решение, которое касается всех людей на планете, сейчас принимают несколько человек в рабочем чате частной компании. Без обсуждения с кем-либо ещё.
При этом, сегодняшние модели угрозы не несут. Тревожит момент, когда ИИ начнёт всерьёз улучшать сам себя без участия человека.
В треде он спрашивает других исследователей: хотите ли вы запускать обучение сверхинтеллекта, не понимая толком, что у него внутри? Опустить голову, раз это всё равно произойдёт, или потребовать других условий?
Это дилемма заключённого в чистом виде. Притормозит Anthropic, вперёд уйдёт OpenAI. Притормозят все американские лаборатории, вперёд уйдёт Китай. Добровольно такая гонка не остановится. К чему это приведёт, думаю мы увидим в ближайшие 5 лет... 👀
🤖 В эпоху AI