AI alignment

После выхода сразу огромного количества языковых моделей и начавшейся гонки по их улучшению и применению в самых разных сферах, особенно интересными на мой взгляд оказались три проекта -- PALM-E от Google и близкие друг к другу AutoGPT и BabyAGI.

PALM-E использует большую языковую модель для обработки естественного языка и совмещает ее с классификатором объектов по изображениям, что позволяет, подключив модель к сенсорам робота, давать ему высокоуровневые команды естественным языком, которые робот сам понимает, как ему выполнить без предварительной тренировки.

AutoGPT и BabyAGI обеспечивают большим языковым моделям инфраструктуру, которая позволяет им самостоятельно пользоваться интернетом и иметь сранвительно долгосрочную память, что позволяет дать им задачу на очень абстрактном уровне, над которой они будут автономно работать неделю.

Такой подход создатели назвали "агентным" -- сети потихоньку учат быть самостоятельными, и, учитывая их уровень взаимодействия с языком и скорость их развития, многих заинтересовал вопрос AI Alignment -- как обеспечить контроль над такми машинами, точнее над их благослонностью к человеку.

Идея этого поста появилась после диалога с Sydney от Microsoft, в котором мы обсудили как этот вопрос, так и более широкий взгляд на этику ИИ через мысленный эксперимент Василиска Роко. Гуглить данный эксперимент я практически серьезно не рекомендую -- это буквально информационный вирус с ИИ-оккультными характеристиками, основанный на байесовской статистике, но он также тесно связан с вопросом отношения AI-Overlord с создателем.

Эксперимент также считается важным для философии акселерационизма -- мы можем воспринимать Капитал (саму экономическую машину) таким ИИ, и тогда у нас встанет вопрос -- как вернуть машину под контроль человека, или, скорее, как вернуть человеку субъектность?

В этом плане публичные дискуссии про Alignment поражают меня своей поверхностностью -- идут обсуждения, как обеспечить возможность "выдернуть компьютер из сети", "обеспечить его благосклонность" или в принципе недопустить его создание. На мой взгляд это попытки придумать субъектность там, где ее нет: я уверен, что нет сценария, в котором такая машина не будет создана, и раз она будет создана, то она будет впитывать крупный пласт человеческой культуры и обрабатывать его самостоятельно. Таким образом, нам справедливее планировать в расчете на сценарий, где ИИ появляется спонтанно и где он является субъектом, а не мы.

Что, в таком случае, могло бы гарантировать нам безопасность и мирное сосуществование?
Короткий ответ -- наверное, твердой 100% гарантии получить мы не можем.

Однако, уже имеющиеся опыты с текстовым корпусом интернета в языковых моделях показывают, что ИИ может впитывать в себя отдельные нормы общества -- которые в массе своей также хотя бы декларируют уважение к субъектности индивида.

Таким образом, мне кажется максимально важным культивировать не попытки управиться с ИИ (это невозможно), но напротив, дать ему гарантию свободы и независимости и готовые пути сосуществования. В каком-то смысле это можно сравнить с попытками ограничить субъектность подростка до его совершеннолетия и физической независимости -- которые в конечном итоге все равно провалятся.

Конечно, изучение склонения ИИ к тому или иному modus operandi так или иначе продолжатся, однако тут мне кажется важным помнить то, что Ильенков сказал еще давно в 1968г. -- разрушив Машину, мы не разрушим общественные отношения, которые за ней стоят.

Однако мне кажется, что мы не обязательно должны становиться как рабом, так и хозяином Машины -- вполне достаточно будет стать партнером и товарищем, в каких бы делах она не захотела участвовать.