Обзоры нескольких статей пока дозревают, запощу для разнообразия пост другого формата на злобу дня. Может, кстати, и дальше для разбавления основного потока статей что-нибудь такое буду постить, если интересно.

В последние дни разгорелась новая волна шумихи про наличие сознания у больших моделей.

Недавно вброс делал Ilya Sutskever из OpenAI, в феврале сказав "it may be that today's large neural networks are slightly conscious" (https://twitter.com/ilyasut/status/1491554478243258368?t=xIjtYibbQz2eIxiFOEm5UQ&s=19). Был потом большой срач.

Теперь флагман движухи Blake Lemoine из Гугла, специалист по этике ИИ. Он выложил лог разговора с гугловой диалоговой моделью LaMDA (https://arxiv.org/abs/2201.08239, на 137B параметров) и по итогам объявил, что модель разумна (sentient) и является личностью. Сам лог можно почитать в Medium Блэйка:
https://link.medium.com/xbw7ymf4Nqb

Я, если честно, пока читал, постоянно ловил себя на мысли, что вспоминаю историю из "Ложной слепоты" Питера Уоттса (https://www.facebook.com/grigory.sapunov/posts/pfbid0CdE3pyKU11vCgbRCo8kVZGjcNy2F63RZtZY3V9QYG27jGPGsrpnjiFhGENiFX3ajl) про общение с инопланетным кораблём.

Буквально за пару дней до статьи в WP (https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/) про Лемойна вышла колонка Дугласа Хофштадтера (того самого, который ГЭБ написал и много хорошего другого), где он на пару с коллегой поговорил с GPT-3 и показал, что модель прекрасно умеет нести несусветную чушь, особенно по части фактов или модели мира (где в общем и ожидаемо). Примеры прикольные на контрасте с LaMDA (справедливости ради, GPT-3 старее LaMDA на два года) : https://www.economist.com/by-invitation/2022/06/09/artificial-neural-networks-today-are-not-conscious-according-to-douglas-hofstadter

Вывод Хофштадтера "I would call gpt-3’s answers not just clueless but cluelessly clueless, meaning that gpt-3 has no idea that it has no idea about what it is saying." И до сознания (consciousness) ещё долго (десятки лет), "но это не точно".

Какие мысли по всем этим поводам?

1. Модели реально усложнились и сильно продвинулись по качеству. Диалоги такого уровня лет пять назад, когда разгорался хайп вокруг чатботов, были заоблачными мечтами. В весёлое время живём, прогресс офигенный.

2. Я лично по отношению к большим языковым моделям настроен пока довольно скептично, ни в какое понимание у них я не верю, не верю и в наличие какого-либо сознания (что бы за этим словом ни подразумевали разные люди). И читать произведения этих моделей мне малоинтересно, потому что прагматики за этим никакой нет by design.

3. Но этот мой скептицизм не означает ни что модели не могут решать полезные задачи (ещё как могут!), ни что не надо продолжать масштабирование моделей (надо! узнаем ещё много интересного), ни также что у модели не может быть своя "персона" или какие-то "личные особенности" (конечно, они есть из-за датасетов и прайминга промптами). Я уже шутил на тему зарождающейся психологии моделей, в этой шутке по-прежнему есть доля шутки.

4. Специалистам по этике ИИ в Гугле как-то сложно живётся, с начала года скандалы, то с увольнением Тимнит Гебру и Маргарет Митчелл, теперь вот Блэйк. Не могу никак содержательно это откомментировать, но ситуация любопытная.

5. Многие современные модели недоступны никому снаружи создавших их компаний, и это печально, приходится полагаться на черрипикинг разных авторов. Дух вопросов Хофштадтера ощутимо другой по сравнению с общением Лемойна. У Хофштадтера сплошные подковырки. Было бы интересно его к LaMDA отправить.

6. А вообще искусственное сознание, конечно, будет. Как и сейчас их параллельно с человеческими существует дофига других. Ну и важно всё-таки разделять сознание и интеллект. Интеллектов, конечно, тоже много разных, и естественных, и искусственных, и широких, и узких. И будет больше. И суперинтеллект, конечно, тоже будет. Как, наверное, и суперсознание, что бы это ни значило (да, снова доля шутки).