Open AI создаёт команду, которая будет заниматься выравниваем суперинтеллекта

При этом основной фокус именно на суперинтеллекте, как концептуально отличной сущности от AGI. Для простоты различия — AGI представляет собой систему, которая может справляться с любой задачей, с которой справляется человек, суперинтеллект (superintelligence) превосходит потенциал человеческого интеллекта в любых задачах (и возможно способен решать задачи, которые человеку в голову не приходят)

В своем анонсе Jan Leike и Ilya Sutskever пишут, что верят в появление суперинтеллекта в этом десятилетии

Целеполагание рабочей группы исходит из того, что современные системы выравнивания ИИ принципиально не способны справится с задачей выравнивания суперинтеллекта. Основная цель: построить автоматического исследователя для задач выравнивания (automated alignment researcher)

Как всё это планируется делать:
- Будут через ИИ генерить обучающие данные для задач, в которых людям трудно произвести оценку выравнивания (не раскрываются примеры таких задач)
Чтобы обеспечить обучающий сигнал для задач, которые трудно оценить людям, мы можем использовать системы искусственного интеллекта для содействия оценке других систем искусственного интеллекта (масштабируемый надзор). Кроме того, мы хотим понимать и контролировать, как наши модели обобщают наш надзор на задачи, которые мы не можем контролировать (обобщение).
Чтобы проверить согласованность наших систем, мы автоматизируем поиск проблемного поведения (надежность) и проблемных внутренних компонентов (автоматизированная интерпретируемость).
Наконец, мы можем протестировать весь наш конвейер, намеренно обучив несогласованные модели и подтвердив, что наши методы обнаруживают наихудшие виды рассогласований (состязательное тестирование).