Три дня назад OpenAI выпустили документ под названием "Planning for AGI and beyond". В нем — общие принципы действий компании по мере того, как мир приближается к созданию AGI (Artificial General Intelligence).
#ai_inside

Написали его OpenAI из идеи, что AI потенциально может принести людям много вреда, однако пытаться остановить прогресс — не вариант. Поэтому нужно понять, как продолжить этот прогресс так, чтобы не стало очень плохо.

Документ вот. Я тут выделю несколько ключевых (на мой взгляд) моментов из него:
✔️ В целом, мы хотим, чтобы AGI помогал человеку процветать во всех сферах жизни. В частности, экономически и научно.
✔️ Вместо того, чтобы сделать супер-крутой большой AI и сразу кинуть его в мир, мы будем придерживаться постепенного, медленного внедрения все более сложных и "умных" моделей. Идея такая: плавное увеличение способностей AI не повергнет мир в шок, и даст людям время приспособиться, адаптировать экономику и выработать нужные регламенты (а-ля законы) по взаимодействию с AI.
✔️ Более того, OpenAI предлагает всем крупным организациям договориться следовать правилу выше (выкатывать сильный AI постепенно). Также предлагает организовать независимые аудиты больших систем до их релиза в массы и ограничить количество вычислительных ресурсов, которые могут использоваться для тренировки моделей. В целом, OpenAI предлагает организациям сотрудничать в повышении безопасности AI вместо того, чтобы участвовать в гонках вида "кто первый выкатит модель покруче и побольше"
И вот еще интересная приписка к абзацу с этими мыслями: "Finally, we think it’s important that major world governments have insight about training runs above a certain scale". Вот тут хочется подробнее услышать о том, что OpenAI имеет в виду. На первый взгляд мне не кажется это предложение таким уж прям хорошим.
✔️ В то же время мы хотим, чтобы AI был максимально открыт для всех, и открыт для всех одинаково: "мы считаем, что будущее человечества должны определять сами люди, поэтому верим, что очень важно делиться информацией о прогрессе AI со всеми". Как достичь такого равенства, пока не очень понятно, поэтому OpenAI пишут следующее: "we hope for a global conversation about ... how to fairly distribute the benefits they [AI models] generate, and how to fairly share access".
✔️ Будем работать над созданием более согласованных и управляемых моделей. Тут речь, насколько я понимаю, про bias и нежелательное поведение моделей (вроде вот такого). У OpenAI идея тут такая: выпустить в массы версию модели, которая будет довольно ограничена, но при этом разрешить пользователям настраивать модельку под себя. Честно, не очень понимаю, как это поможет сделать модельк в целом менее biased (пользователи чего только там "под себя" не настроят). Разве что снимет с компании ответственность за подобное поведение модельки.

В целом, имхо, документ ведет в правильном направлении. Но у меня возник небольшой диссонанс между "мы не будем сразу показывать крутые модельки публике, а будем о них говорить государствам" и "люди должны знать о прогрессе AI".
Будем ждать подробных разъяснений от OpenAI по всем пунктам, короче.