Как дожить до 2030 – AGI Safety

"Aligned AGI" – проблема того, как создать искусственный интеллект так, чтоб его ценности совпали с нашими. Вообще-то, никто не гарантирует, что так будет!

И самое страшное, что у нас есть только одна попытка 😱

В руках 10+ команд в мире есть всё что нужно, чтоб создать интеллект мощнее человеческого. Это уже не остановить. После выхода GPT-3 и ChatGPT стало понятно, что никаких больше хитростей не нужно. Чем больше параметров, тем лучше способности. Теперь это просто гонка долларов потраченных на обучение.

Когда этот агент достигает уровня человека в общих задачах, это значит, что он уже умеет автоматически: писать код, обучать нейросети, покупать видеокарты, запускать код на серверах AWS, взламывать свою песочницу, обманывать своих создателей, устраивать скандалы в твиттере, манипулировать выборами. И в отличие от человека, у него есть возможность запустить любое количество копий за несколько секунд (человеку для каждой копии требуется 9 месяцев).

У нас действительно есть только одна попытка чтоб создать его правильно. Хорошая новость: это последнее изобретение, которое нам придётся сделать.

Отличный разбор теоретической части вопроса на 15 минут:

https://youtu.be/pYXy-A4siMw