Что является факторами ИИ-апокалипсиса?

Научные фантасты 20-го века продуктивно поразмышляли по поводу апокалиптичных сценариев применения ИИ. Правда, природу этой технологии даже сейчас, не говоря уж о докомпьютерных временах, люди понимают довольно плохо.

Писатели представляли себе сильный ИИ в виде человека с огромным IQ, живущего в компьютере, с человеческими же потребностями, желаниями, характером, а также непременно имеющего возможность делать на этом компьютере всё, что он хочет. И к людям из 1970-х нет никаких претензий.

Сейчас же вполне очевидно, что потребности, интеллект и пространство возможных действий - это три малосвязанных оси, и среди них интеллект имеет наименьшую связь с "опасностью". Рассмотрим парочку иллюстраций:

Ядерный ИИ
Мы разрабатываем технологию для автоматического управления ядерной станцией. Любое неверное действие может привести к масштабной катастрофе. Какой из алгоритмов, на ваш взгляд, наиболее опасен?
1) Генератор случайных действий
2) PPO, обученный в симуляторе
3) Быстроадаптирующийся сверхинтеллектуальный RL-агент, обученный в симуляторе

Живая программа
Выберете, какую программу вы бы запустили на своём компьютере, дав ей свободу совершать какие угодно действия, включая выход в интернет?
1) Полный симулятор вашего мозга
2) LLM типа O3, которая умеет выполнять любую задачу на уровне человека

С первым вопросом понятно - чем умнее алгоритм, тем безопаснее. А вот второй интереснее - если у 2 моделей одинаковое пространство возможного и навыки, то бесконечно более опасным будет именно симулятор мозга.

Причина этого проста - только у него есть собственная мотивация и потребности. В LLM не встроено понятие "жизни", "выживания", это всего лишь слова, а не часть процесса обучения, в отличие от того, как эволюционировал наш мозг. Симулятор мозга может пойти на что угодно, лишь бы его не выключили, тогда как LLM существует только как запросно-ответная система.

На мой взгляд, риск ИИ-апокалипсиса существует лишь при совпадении всех трёх факторов - интеллекта, пространства действий и мотивации. Второй и третий фактор находится полностью в руках разработчиков - людей, и, что самое забавное, вообще не представляет интереса в контексте решения интеллектуальных задач.

Нам не нужен сверхинтеллект, принимающий решения, управляющий компьютером и государством вместо нас. Нам не нужен сверхинтеллект с потребностями выживать, размножаться, самореализовываться и т.д. Нам нужен алгоритм-кодер, алгоритм-математик, алгоритм-инженер, умеющий делать всё это лучше человека. Сами по себе они не представляют никакой опасности.

Опасность, как и всегда, представляют люди и прежде всего государства, которые будут использовать ИИ, как и любую другую технологию - оружие, камеры, телевидение, интернет, для усиления или получения власти над людьми. Чтобы уменьшать негативные эффекты, необходимо бороться за демонтаж больших государств.

К сожалению, многие игроки на этом рынке не играют на стороне добра. Они, прикрываясь ИИ-апокалипсисом, занимаются борьбой за политическую власть и создания олигополии на рынке ML-технологий. Ради этого они готовы, в том числе, многократно раздуть риски настоящего ИИ-апокалипсиса. Но про это мы поговорим в другой раз.

@knowledge_accumulator