Сэм Альтман назвал два риска катастрофы от ИИ: потерю контроля над будущим в пользу машин и концентрацию власти у одного человека, компании или страны. По его словам, избежать их можно лишь идя по «узкой тропе» между ними.
OpenAI меняет фокус безопасности: от контроля при развертывании к безопасной разработке и оценке. Компания заранее готовит обоснования безопасности перед RL-тренировками, призывает к общим стандартам мониторинга и борьбы с рассогласованием моделей. Прогресс замедлится, но не остановится; конкурентное давление не оправдывает риски. Нужна международная координация государств, но начинать должны сами компании.
Заявление совпало с уходом из Anthropic Джейкоба Коксона, обвинившего ведущих разработчиков в безответственности; сотрудники Anthropic его поддержали.
Нейрокрипто
Post #2561
159
