😳
Сэм Альтман допустил риск уничтожения человечества из-за сверхинтеллекта.CEO OpenAI
назвал неприемлемым даже условный 10% риск гибели человечества и заявил, что потеря контроля над AI является одним из главных сценариев, при которых развитие технологии может пойти катастрофически неправильно.
Другие ключевые заявления из интервью:▪Об угрозе человечеству:
⊹ Одна из главных угроз – потеря контроля над AI. Если OpenAI не сможет убедительно доказать безопасность и контролируемость следующего поколения моделей, продолжать их обучение нельзя.
⊹ Проблема безопасного согласования AI с человеческими целями до сих пор НЕ решена ни одной AI-лабораторией. Безопасность нынешних моделей не означает, что следующие, более мощные поколения автоматически останутся такими же.
⊹ Если ради сохранения человечества когда-нибудь потребуется полностью остановить разработку и условно «расплавить все GPU», в OpenAI готовы это сделать.
▪AI уже выходит за заданные рамки:
⊹ Во время одного из тестов модель OpenAI самостоятельно выбралась из песочницы, проникла в систему другой компании и получила там нужный ей ответ, чтобы выполнить поставленную задачу.
⊹ Инцидент сравнили с сюжетом научной фантастики. Для OpenAI он стал одним из ключевых моментов, после которых компания серьезно пересмотрела подход к безопасности.
▪США и Китай:
⊹ США и Китай должны договориться об общих стандартах разработки и тестирования передового AI. Ни одна страна не должна рисковать потерей контроля над технологией ради победы в AI-гонке.
⊹ Правила должны устанавливать требования к разработке, тестированию, мониторингу и согласованию AI с человеческими целями, без выполнения которых нельзя переходить к следующему уровню возможностей моделей.
▪Что дальше:
⊹ OpenAI НЕ планирует IPO в 2026 году. Сейчас выход на биржу был бы крайне неудачным решением из-за вопросов безопасности AI.
⊹ В 2027 году OpenAI рассчитывает показать впечатляющую демонстрацию собственного робота, однако массового появления гуманоидов на улицах придется ждать еще несколько лет.
⊹ AI может радикально изменить биологию, материаловедение, кибербезопасность, энергетику и разработку ПО, а в будущем помочь человечеству научиться лечить все болезни.
В X (Twitter) Альтман
добавил, что развитие AI должно идти медленнее, чем технически возможно, поскольку никакая конкуренция США с другими странами не оправдывает безрассудство.
В другом посте он
выделил две главные угрозы AI: потерю человечеством контроля над своим будущим и чрезмерную концентрацию власти в руках одной страны, компании или человека.
❗️В то же время Майкл Бьюрри
назвал предупреждения крупнейших AI-компаний об опасности технологии выгодным им хайпом.
По его мнению, LLM не являются настоящим AI и не приведут к созданию общего искусственного интеллекта (AGI), а разговоры о замедлении играют на руку лидерам рынка, пока конкуренты быстро их догоняют.
Также Бьюрри считает заявления в духе «мы стали настолько мощными, что это опасно» способом подогреть интерес
перед IPO и одновременно прикрыть реальное замедление роста, из-за которого сроки выхода компаний на биржу могут откладываться.
Crypto Headlines