Мир наводнён ужасным кодом, слишком быстро создаваемым программистами по принципу "сначала напиши, потом думай", и я уверен, что LLM существенно усугубят эту тенденцию.

Три основные рекомендации по разработке безопасного AGI:

1. Не учите его программировать: это облегчает рекурсивное самоулучшение.
Модели вовсю учатся всё более продвинутому программированию.

2. Не соединяйте его с интернетом: давайте ему только необходимый минимум для того, чтобы помогать людям; не рассказывайте ему, как манипулировать нами или захватывать власть.

Вовсю совершенствуются AI-агенты вроде AutoGPT, и активно работают в интернете, а модели стремительно обучаются на всём текстовом, что только находится в Сети.

3. Не прикрепляйте к нему общедоступный API: предотвратите его автоматизированное использование злоумышленниками.

Ну, с такого API и началась OpenAI.

Сценарий фильма "Не смотри вверх" развивается 1:1 ...