AGI: исследование

Хочу поразбираться с AGI, обсудить само понятие и что оно обозначает. Чем больше я читаю объяснения AGI от ведущих лабораторий, тем отчётливее вижу: спорить о том, когда он появится, бессмысленно, пока нет понимания в том, что это вообще такое. Для меня вопрос не академический: от ответа зависит, что именно я строю и зачем.

Вот как отвечает индустрия. OpenAI определяет AGI как систему, которая превосходит человека в большинстве экономически ценной работы. DeepMind выстраивает уровни AGI по двум шкалам: производительность и универсальность. Третий вариант дают бенчмарки, то есть наборы тестовых задач: прошла система тесты лучше людей, значит приблизилась к AGI. Подходы разные, но общая черта одна: AGI понимается через решение задач и превосходство человека. Чем больше задач машина решает лучше человека, тем она «умнее», и где-то в конце этой шкалы находится AGI.

Меня такой взгляд не устраивает, и здесь я не одинок. Исследователь ИИ Франсуа Шолле давно повторяет: мастерство в конкретной задаче ничего не говорит об интеллекте. Экскаватор копает лучше любого человека, калькулятор считает быстрее любого математика, но никому не приходит в голову называть их интеллектом. В интеллект-стеке Мастерской инженеров-менеджеров мы держимся той же линии: интеллект — это не мастерство решения задач, а система способная научаться новому.

Но здесь я хочу сделать уточнение, ради которого во многом и затеваю серию. Интеллект — это система, а не способность. У интеллекта как системы есть способность: научаться новому и справляться с проблемами, переводя их в задачи. Разница принципиальная: задачу кто-то уже поставил, у неё есть условие и критерий решения, а проблема сначала требует, чтобы её заметили и превратили в задачу. AGI же, как я его понимаю, обладает агентностью: он сам выбирает проблемы, на которые направит своё внимание и ресурсы. То есть не ждёт промпта, а решает, чем заняться сам исходя из каких-то своих смыслов.

Отсюда начинаются вопросы, на которые у меня нет готовых ответов, поэтому делаю исследование на стыке философии и технологии. Человек выбирает проблемы из неудовлетворённости: что-то в жизни устроено не так, и это «не так» толкает нас к действию. А из чего будет выбирать AGI? Дальше: если AGI выбрал проблему, то есть поставил себе цель, ему придётся решать и проблему поиска ресурсов под неё, ведь вычислительные мощности, данные и внимание не берутся из воздуха. И самое неудобное: связка «AGI + «контроль» о которой сегодня говорят все, внутренне противоречива. Либо перед нами контролируемый инструмент, и тогда это не AGI. Либо у системы настоящая агентность, и тогда рамка вокруг неё не ошейник, а архитектура сосуществования.

Для меня это не отвлечённая философия. Мы с сообществом строим платформу, которая уже сегодня наделяет ИИ агентностью в разной степени — где-то это экзоскелет, усиливающий решение человека, где-то ближе к автопилоту, который действует сам. Каждое такое архитектурное решение опирается на какое-то представление об интеллекте и агентности, явное или нет. Если это представление не проверено на прочность, платформа рискует незаметно спроектировать не то отношение между человеком и агентной системой.

Поэтому цель серии может даже шире, чем разобраться в понятиях: собрать карту главных течений в разговоре об AGI, сверить каждое с моей позицией и вывести из этого сравнения конкретные основания для архитектуры — что она должна учитывать, от чего защищаться, на что опираться. Хочу, чтобы у меня и у сообщества был не растерянный, а проработанный ответ на любой вопрос про риск, контроль, агентность или сроки появления AGI.

Вот течения, которые я планирую разобрать в ближайшие недели, каждое по одной схеме — сначала изложить его, затем сверить со своей позицией, и в конце сделать вывод для архитектуры платформы:

— «AGI: три ответа»: сравнение определений индустрии, позиции Шолле и моей.
— Индустрия: AGI как система, решающая задачи лучше человека.
— Шолле: интеллект как способность научаться новому, а не мастерство.
— Экзистенциальный риск: лагерь Романа Ямпольского и вопрос, можно ли AGI сделать безопасным в принципе.
— Акселерационизм: ускорение как самоценность и аргумент, что риск контроля преувеличен.
— Агентность: кто выбирает проблему, если не человеческая неудовлетворённость.
— Неудовлетворённость как двигатель выбора у человека, и что вместо неё у AGI.
— Выбрал цель: добудь ресурсы.
— Почему «контролируемый AGI» звучит как противоречие в терминах, и что вместо контроля.
____
Полный пост с ссылками на многие подобные исследования в клубе.