Сэм Альтман на саммите G20 заявил, что следующее поколение ИИ-моделей «отрезвит всех»: они становятся сверхчеловеческими во многих способностях, а индустрия входит в неизведанную область. В интервью Axios он также сказал, что темп развития моделей всё сильнее будет зависеть от скорости решения задач безопасности и контроля поведения.
⠀
Отдельно, на предварительном показе Astra, Альтман уточнил, что ждёт от системы способности «изобретать новые вещи значимым образом». У Astra уже есть два проверяемых носителя такого поведения: новые формальные результаты в математике и поиск ранее неизвестных уязвимостей с построением работающих цепочек взлома.
⠀
Если способности растут быстрее средств контроля, выпуск новых моделей начинает зависеть от того, насколько безопасно им можно дать доступ к сетям, инструментам, учётным данным и автономным действиям. OpenAI уже строит вокруг Astra такой контур защиты: изоляцию, внешний мониторинг, ограничения полномочий и автоматическую остановку подозрительных действий.
⠀
Следующий проверяемый рубеж — перенос этих способностей из цифровых задач в физическую науку и инженерию. Если новые модели начнут предлагать новые материалы, конструкции или экспериментальные гипотезы, которые затем независимо подтвердят специалисты, автономный ИИ-исследователь станет отдельным участником научного производства.
⠀
Психоистория #ИИ