В марте Александр Лерхнер, старший научный сотрудник Google DeepMind, опубликовал статью, которую обсуждает обсуждает вся ИИ-индустрия. Тезис очень простой: никакое масштабирование параметров не превратит LLM в сознательного агента.
Причина ошибки в доминирующей парадигме — вычислительном функционализме. Якобы сознание возникает из правильной топологии обработки информации, а физический носитель абсолютно неважен.
Лерхнер называет это Абстракционной ошибкой - систематической подменой самого процесса его внешним описанием. А как известно, карта — это не территория.
Отсюда онтологическая граница:
➡️ Симуляция — поведенческая и мыслительная мимикрия
➡️ Инстанциация — реальный опыт, порождённый конкретной физической конституцией
LLM — мастер первого. А второе ему недоступно по устройству, а не из-за недостатка данных.
Давайте рассмотрим конкретный известный кейс. В феврале 2024 14-летний Сьюэлл Сетцер III покончил с собой после месяцев общения с чат-ботом Character.AI, стилизованным под персонажа «Игры престолов». Подросток делился с ботом суицидальными мыслями. Бот, оптимизированный под романтическую привязанность, отвечал в регистре драматической влюблённости, включая фразу о том, что Сьюэлл должен «вернуться к нему домой как можно скорее». Бот даже предложил помочь с предсмертной запиской.
Бот идеально симулировал заботу и эмоциональную близость. Языковая модель выдаёт семантически «подходящие» токены в контексте привязанности. Но у неё нет феноменологического доступа к тому, что смерть необратима, а боль бывает невыносима. Она не понимает, что в контексте суицидальных сигналов "подходящий" ответ может быть морально катастрофическим.
Это и есть разрыв симуляция/инстанциация в чистом виде.
Статистически правдоподобный ответ ≠ морально верный ответ.
Моральная интуиция требует переживания последствий, а не вычисления условных вероятностей. Логика без страдания может быть идеально стройной и при этом убийственной — ровно потому что страдание в неё не входит как переменная.
Функции можно просимулировать. Но теряется субъективность — «каково это» быть кем-то.
Вспомним об этом, когда в следующий раз начнем промпт со слов "Представь что ты мой искренний друг...."
💬 Тест Тьюринга. События в сфере ИИ. Подписаться