Чуваки из Anthropic увидели вчерашний скандал вокруг OpenAI и сказали: подержите моё пиво. Мы в этой теме главные и никто не может посягать на наше первенство в не-сухих-штанах.
Сегодня ночью по МСК появляется серия твитов от Jacob Coxon, pretraining researcher, Anthropic.
Jacob утверждает, что он уволился из Anthropic (а раннее и из OpenAI), потому что ему надоело, что компании бегут напрямую к self-improving superintellegence и ставят жизни их сотрудников на кон.
Тред набрал уже более 30M просмотров (что на мою память ОЧЕНЬ много). А больше всех набрал твит о том, что люди, которые делают AI, искренне верят, что он может убить всех нас до конца этого десятилетия. Многие руководители в прессе подбирают слова так, чтобы звучать аккуратно, но в приватных разговорах виден их страх.
Подробнее:
Я сегодня уволился из Anthropic. Последние три года я занимался исследованиями предобучения (pretraining) в OpenAI и Anthropic. Ни одна из этих компаний не действует ответственно. Они гонят напрямую к самоулучшающемуся сверхразуму и ставят на кон наши жизни. Подробнее ниже.
Не недооценивайте силу этой технологии. Скоро это будут системы, превосходящие человека: способные взломать что угодно, за ночь перевернуть любую область и получить реальную власть и ресурсы. Мы все видели прогресс в каждом из этих направлений, и он не замедляется.
Люди, создающие ИИ, искренне верят, что он может убить всех нас до конца десятилетия. Это не маркетинговый трюк. Наоборот: многие руководители и старшие исследователи в прессе подбирают слова так, чтобы звучать осмотрительно, — но я слышал, как те же люди выражают страх в частных разговорах. Никакая другая человеческая деятельность не несёт такой опасности.
Частый ответ: «если они правда в это верят, почему продолжают создавать?» В OpenAI многие так и не осознали в глубине, что на кону вся цивилизация. В Anthropic ставки прекрасно понимают, но там застряли в гонке — дойти первым: они считают, что никто другой не будет действовать ответственно, значит, это придётся сделать им самим, несмотря на риск.
Принять эту гонку и войти в «эндшпиль» — высокомерная авантюра, которую не запускают из слака частной компании. «Спидранить» выравнивание (alignment) ИИ можно только при исключительной уверенности, что лучших траекторий не существует.
Я оптимист насчёт координации. Тревожные сигналы вроде атаки на Hugging Face сделали реальные соглашения о темпе между американскими лабораториями более достижимыми. Но я не вижу, что мы на пути к предотвращению глобальной гонки — а для этого могут понадобиться дорогие меры, например временный запрет на наращивание возможностей моделей.
Если ты исследователь в лаборатории — я прошу тебя подумать, какими будут следующие несколько лет на самом деле. Хочешь запустить обучение сверхразумного агента (RL-ран), не имея строгого понимания того, как устроен его разум? Стоит ли опускать голову, потому что «это всё равно случится», — или использовать этот момент, чтобы потребовать других условий?
Тред репостнул Evan Hubinger и подтвердил, что Jacob прав – AI действительно может убить всех человеков. Вероятность что это произойдет в течение ближайших 4-х лет более 10%:
Jacob is correct here—we really do earnestly believe AI could kill all humans!
(прошу обратить внимание на восклицание)
Да, кстати, Evan – Alignment Science Lead и как никто другой разбирается в том, что говорит.
Что происходит?
Тут два варианта:
1) Эти ребята действительно искренны в своих словах и мир в опасности
2) Впереди IPO, на котором Anthropic нужно продаться как можно дороже, а Dario Amodei доказать, что он круче своего бывшего начальника.
И пока что я больше склоняюсь ко второму варианту.
Я помню, как всю весну компания Anthropic очень некрасиво прогревала людей и совала свои руки очень глубоко в души людей, чтобы вызывать чувство страха, когда пиарила Mythos, и по факту эта модель не оказалась чем-то сверхестественным.
До этого Dario Amodei утверждал, что скоро всех разработчиков уволят за ненадобностью.
Короче, мы уже привыкли к такой риторике Anthropic и у многих людей появляются вопросики к ней и недоверие + омерзение к самой компании.
Я про это планирую ещё пост написать – почему все так не любят Anthropic, чтобы потом можно было кидать его любому, кто задается таким вопросом.
Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!