Мы с GPT-6 Astra перевели и подготовили для вас полный материал на VC
Главная цитата:
Мы должны замедлить темп, с которым улучшаем возможности моделей ИИ. Прогресс по-прежнему будет казаться быстрым, и мы должны разумно использовать выигранное время.
На мысль о замедлении Дарио натолкнуло две вещи — RSI, рекурсивное самообучение, о котором я писал буквально вчера, плюс известный всем инцидент с Hugging Face у OpenAI, когда рой агентов взломал HF ради достижения своих целей.
Амадеи озвучивает те же опасения, что я вам рассказывал на одном из стримов. Я считаю неизбежностью появление настоящего автономного неконтролируемого вируса на основе ИИ, с которым нам всем в будущем придется жить. Впоследствии их будет много, как когда-то появились обычные компьютерные вирусы.
Дарио же говорит о том, что инцидент со взломом HF показал, что если бы модель была совершенней, мощностей у неё было бы больше — это могло бы привести к катастрофическим последствиям.
...я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью устойчивого ботнета — потенциально причинив ущерб на сотни миллиардов долларов
По мнению CEO Anthropic спасти ситуацию может план из 3 пунктов, он назвал их так:
1. Независимые оценщики внутри ИИ компаний
2. Координация в демократических странах
3. Глобальная координация
На мой взгляд план отличный кроме пункта 3. Как раз вчера на стриме рассказывал своё мнение, что вся эта остановка прогресса не сможет случиться исключительно из-за гонки США и Китая. Шансы на то что Китай остановится, мне кажется, равны нулю.
Однако, Амадеи копает глубже и говорит о других рычагах давления. Предлагает прекратить экспорт технологий.
.. ключевая часть сдерживания темпа в демократических странах — сохранять максимально большой отрыв демократий от автократий в области ИИ, чтобы обеспечить нам необходимый запас времени для эффективного сдерживания темпа
Если вы дочитали до этого места — я крайне рекомендую к прочтению полную статью. От решений, которые прямо сейчас примут правительства и компании, возможно, зависит судьба человечества.
Оригинал
Перевод