Исследователь Anthropic Jacob Coxon уволился из компании, потому что не хочет дальше участвовать в гонке по созданию все более мощного ИИ. До этого он работал в OpenAI. Теперь, видимо, пойдет на свободную кассу в McD?
Coxon написал, что OpenAI и Anthropic движутся к самосовершенствующемуся сверхинтеллекту, не имея надежного способа его контролировать.
«Люди, создающие ИИ, совершенно серьезно считают, что он может убить нас всех до конца десятилетия».
Люди тут же подтвердили, в лице Evan Hubinger, руководитель Alignment Science в Anthropic.
Он подтвердил, что такой сценарий внутри компании действительно рассматривают всерьез, и написал, что лично оценивает вероятность гибели человечества из-за ИИ в ближайшие десять лет как более 10%.
При этом Hubinger уточнил: речь не о нынешнем Claude, а о возможном будущем сверхинтеллекте.
«У нас пока нет плана, как решить проблему alignment для сверхинтеллекта».
В общем, один сотрудник Anthropic уволился, потому что не хочет участвовать в создании потенциально смертельно опасного ИИ.
А человек, который в Anthropic как раз занимается проблемой его безопасного поведения, ответил: риск выше 10%, решения пока нет.
Вы тоже удивляетесь, зачем это они?
@gostev_future