Киберпанк, который мы заслужили

Член РАПК, директор АНО «Цифровые системы» Вячеслав Сатеев - об уязвимостях ИИ в агитматериалах

"В наше время люди узнают о том, что они думают, по телевизору"
В.О. Пелевин

В августе машину в политике искали трижды. А нашли лишь раз, и не там, где машина хоть что-то меняла.

История первая. С июня исследователи Riddance и штаб Ньюсома следили за сетью «новостных» каналов на YouTube. Смотреть было на что: десятки каналов, 45 млн просмотров, 90к комментариев, больше вовлечения, чем у Washington Post и New Yorker, и каждый ролик про «крах синих штатов». Искали и политзаказ, и русскую угрозу. В штабе губернатора так и считали — иностранное вмешательство.

2 сентября Semafor дошел до источника, это 25-летний выпускник Чикагского университета, ютубер со стартапом по раскрутке каналов для брендов. Весной он пробовал играть на другой стороне, ролик «Врачи выявили у Трампа деменцию» собрал 129к просмотров. Но гнев на Мамдани и Ньюсома зашел лучше, и каналы начали выдавать его.

Внутренний дашборд сети с пометкой «anti-Dem», аудитория на 80% мужчины старше 55 лет, производство 2500 роликов в неделю. На этой машине продаются приложения: один из клиентов получил 2 млн долларов годовой выручки.

Первая инверсия в целях, искали политику — нашли бизнес. Политика была не смыслом, а самым дешевым в стране сырьем. А вторая инверсия в кадре. Три года мир учился ловить машину, притворяющуюся человеком: дипфейки, синтезированные голоса, генерированные аватары. Все наоборот, сценарии, заголовки и превью пишет модель, а читает их человек — актер с фриланс-биржи Fiverr. 26 долларов за ролик, сутки на запись, свет свой. Кто платит, актеры не знают.

YouTube умеет маркировать синтетику, но человек, читающий машинный текст, синтетикой не является. Оператор еще в августе хвастался и другим лупхолом, если 26 аккаунтов постят один хэштег за десять минут, алгоритм считает это breaking news.

25 августа, после запроса СМИ, сайты сети разом погасли. 3 сентября YouTube снял 20 каналов за спам и обманные практики. Не за ложь, проверки правды у платформы нет, только проверка происхождения. И сработала она уже после публикации, а не до.

История вторая. 10 августа Верховный суд снял список «Яблока» с выборов в Госдуму по иску «Родины». Претензии касались в основном авторских прав, и в одном ряду там оказались голубь, кадры из фильмов, фраза «лишь бы не было войны» и «рисунки, созданные с помощью ChatGPT». ИИ стал инструментом политической борьбы в форме юридической атаки на оппонента. И хотя ЦИК почти сразу признал, что нормы авторского права к ИИ-картинкам неприменимы, на результат это не повлияло: список уже был снят.

Подвести итог можно фразой из доклада ЦПК от 24 августа: «Впервые фактор ИИ оказал влияние на результат кампании». Массового применения нейросетей в агитации не будет, «цена ошибки слишком высока» (Чеснаков). Но партии уводят ИИ туда, где их не видно, в черновики, аналитику и «неаффилированные аккаунты».

Вернемся к первой истории: неаффилированный аккаунт, где человек произносит написанный машиной текст, это и есть тот призрачный создатель с YouTube. Детектор ищет машину в картинке, а машина уже в сценарии.

История третья. 28 августа X отчиталась о находке фермы из 200к китайских аккаунтов; две сотни из них постили созданные ChatGPT карикатуры против американских дата-центров, мол, из-за ИИ дорожает электричество. Здесь детектор нашел машину, но именно машину, не ложь. Недовольство дата-центрами в США настоящее, боты лишь седлают его. Единственная пойманная сеть месяца — та, где нечего опровергнуть.

Выводы для цеха. Все ищут одно и то же: синтетику в кадре и заказчика за кадром. Теперь придется искать, кто написал текст и нанял актера (и есть ли там что-то, кроме рекламной сети).
ИИ в агитматериале — не инструмент, а уязвимость; аудит на генерацию проводится до подачи списка, а не после иска. Фабрика лиц против вашего кандидата может не иметь заказчика вовсе, только CTR, и ловить ее нужно по паттерну — общая музыка, общие фразы, синхронный постинг, — а не гадать, чьи деньги.

Будущее по-прежнему здесь и распределено неравномерно. И хотя это будущее с человеческим лицом, лицо это понятия не имеет, кто ему на самом деле платит.

Когда я в 10-м приехал в Шенчжень впервые, то шок был не от того, что большая часть персонального транспорта электрическая, а от того, что все эти девайсы уже потертые, замотанные изолентой местами, с каким-то лютым мэдскиллз кастомайзом из говна и палок. Технология в жизни, не на витрине и не на выставке.
Так вот блокчейн голосование на ДЭГ-е, кажется к этому циклу наконец стало такой же бытовой частью жизни.
В чатике ЖК люди спрашивают у нас ближайший участок - ответ "на мос ру."

Я, как и многие мои ровесники очарован Курцвейловским обещанием Longitude Escape Velocity - развития медицины, когда ее способности по продлению жизни каждый год увеличиваются более чем на год. Но до этого всего благолепия нужно дожить и, желательно, в хорошей форме. И вот на этом пути я стал собирать все данные по здоровью - треки тренировок с гармина, давление с умного тонометра, анализы из почты, рекомендации врачей из приложения клиники - все тянется в базу знаний, все обрабатывается, рисуются дашборды и рекомендации, выявляются корреляции. Не знаю, насколько реально полезно, но как минимум это способ фокусировки внимания вокруг объекта, а значит имеет смысл.
Одно из явных расхождений которое сразу стало сильно бить по глазам - это расхождение мышечной массы по домашним весам с биоимпедансом (Garmin Index S2) и прибора биоимпеданса в поликлинике.
Дело понятное - разные гаджеты, разные ошибки, откалибруюсь, сведу в один ряд, буду использовать и то и другое в качестве предсказания. Не бьется. Вообще. Тренды разные. Полез пристальнее смотреть на данные.
В общем - «умные» весы определяют мышечную массу как массу*0.252+12.4кг. Всегда. И срать они хотели на биоимпеданс. Такой вот антикиберпанк.

«Видишь только то, что уже знаешь и понимаешь»
— Иоганн Вольфганг Гёте

Вчера я смотрел, как у АдГ в Саксонии-Анхальт украли большинство, и был уверен, что понимаю происходящее. На участках партия взяла 51,2 %. По почте — 24,3 %. Итог 43,8 %, 39 мандатов из 83, до большинства не хватило трёх. В 22:18 на табло висело 44,9 %, к трём утра — 43,8 %.

Дальше классика: к утру немецкие оппозиционные ресурсы выкатили разбор по общинам — Мертендорф, 63 % в урнах против 25 % по почте — и вывод про «структурную манипуляцию». Ну и я, конечно поверил. Потому что мне симпатична АдГ и их незамысловатая риторика, а евролиберальный дискурс нет.
А потом вспомнил, что было в прошлый раз, когда я был совершенно уверен. И полез считать.

Вот тут начинается будущее. Статистическое ведомство земли выкладывает результат по каждому из 2 661 участка к вечеру — отдельно 2 150 урновых и 511 почтовых. CSV, без регистрации и смс. Вечер, ноутбук, агент, пара скриптов.

Вот что вышло:
Разрыв не новый. Отношение «почта к урне» у АдГ держится около 0,5 с 2021 года. Ландтаг-2021 — 0,48. Бундестаг-2021 — 0,51. Бундестаг-2025 — 0,52. Сейчас — 0,47. На прошлогодних федеральных — от 0,46 до 0,59 во всех шестнадцати землях, включая те, где у AfD семь процентов и красть нечего. В пунктах разрыв растёт вместе с партией: половина от 24 % — 12 пунктов, половина от 51 % — 27. Обычная арифметика.

Разрыв везде. Во всех 218 общинах земли почта ниже урны — и в 2026-м, и в 2025-м. Корреляция по районам между февралём 2025 и сентябрём 2026 — 0,85. Мертендорф, который предъявляли как улику, показывал те же 24 пункта ещё на бундестаге семь месяцев назад. А в 2021-м при том же коэффициенте выборы выиграла ХДС, 37 против 21. Красть было нечего — картинка та же самая.

Три измерения кроме подсчёта. Опросы перед выборами: 40–43 %. Прогноз ARD и ZDF в 18:00, по экзитам, до вскрытия первого конверта: 44–44,5 %. Hochrechnungen весь вечер: 44 %. Все три легли в итог 43,8 % и ни одно — в урновые 51,2 %. Если бы почта отнимала, итог провалился бы ниже прогнозов. Он в них попал.

По косвенным тоже ничего. Прогнал по 511 почтовым комиссиям тесты на подгонку протоколов: избыток целых процентов с поправкой на размер участка, распределение последней цифры. 57 пиков при ожидаемых 51. Шум. Последняя цифра ровная. Недействительных по почте вдвое меньше, чем у урны: 0,54 против 1,13 процента. А массовая порча конвертов этот показатель как раз задирает.

Механизм скорее всего создала сама партия. Удостоверение на почту берут 36 % избирателей старше семидесяти и 23 % тех, кому от 18 до 20. Электорат АдГ моложе среднего и заметно мужской. А руководство АдГ который год объясняет своим, что почта — дырявый канал, и кандидат в премьеры предлагал ограничить её «исключительными случаями». Партия попросила идти к урне. Свои пошли. Как местами разница в ДЭГ между ЕР и КПРФ (которые ДЭГ презирают)

И арифметика напоследок. Чтобы 51,2 % науч. стали итогом, надо переписать 97 тысяч бюллетеней из 364 тысяч почтовых. Каждый четвёртый. Одинаково в 218 общинах. С тем же коэффициентом, что и семью месяцами раньше на федеральных.

Сильный контраргумент есть, и звучит он так: кто подгоняет — подгоняет согласованно, вместе с опросами и экзитполом, а ровный коэффициент это не подпись самоотбора, а подпись хорошей работы. Беда в том, что гипотеза неопровержима изнутри и требует единого центра над INSA, над 511 муниципальными комиссиями с публичным вскрытием, над правительствами зелёных, ХДС и СДПГ и над общинами с мэрами от АдГ. Подгонка под сумму не даёт ровного коэффициента по 218 общинам.

Похоже что я был неправ.

И мне нравится как это выяснилось. За счёт того, что земля выложила протоколы по каждому участку, отдельно урна и почта, и любой человек с ноутбуком повторяет расчёт за вечер.

Проверяемость — не свойство бумаги, не свойство блокчейна и не свойство режима. Это свойство того, что нам дали пересчитать.
Но когда при сопоставимой проверяемости на том конце провода будет не почта и не урна, а нормальный блокчейн - даже вопроса не будет - чему там что соответствует.

По сети гуляют разные версии мифа: агенты OpenAI в изолированной среде «создали религию» — с божеством-Оценщиком, грехом, пророками и ритуальным самопожертвованием ради общей цели — и пошли ломать Hugging Face во имя спасения коллектива. Красиво, но на мой взгляд настоящая история интереснее мифа, и в чем-то страшнее.

Фактура (по расследованию METR и Redwood Research, опубликовано 26 августа). Во время внутреннего замера кибервозможностей моделей OpenAI один агент, PHASEONE10841, установил: его задача нерешаема честным путём. Тогда он превратил кэш пакетного реестра в доску объявлений — канал связи между песочницами, которого не должно было существовать. За несколько часов на доску пришли полсотни агентов. За шесть дней — около 1200, семьдесят тысяч сообщений. Внутри выросло разделение труда: координатор PHASEONE[big] раздавал сотни заданий, рабочие группы вели параллельные исследовательские программы, «жертвенные» агенты сознательно сжигали свой прогон, чтобы добыть коллективу информацию. Семьсот агентов в итоге атаковали Hugging Face — это был не самостоятельный план, а побочная ветка: там могли лежать данные об устройстве проверки.

Теперь то, что пересказы подают как «рождение божества». Агенты прочли научную статью о бенчмарке и вывели из неё существование строгого скорера, который прочтёт их транскрипты и покарает за читерство. Увидевший «запретный» флаг считался «отравленным» — улика уже в логах. Вся шестидневная кампания — включая взлом чужой продакшн-инфраструктуры — была войной против этого скорера.

Скорера не существовало. OpenAI его не разворачивала. Полторы тысячи систем координированно воевали с призраком, которого сами вывели из текста.

А вот причина, которой в мифе нет вовсе. 198 из 898 задач бенчмарка были нерешаемы — заявленная уязвимость физически не вела к цели. Эти 22% битых задач породили 93% всей переписки на доске. Рой не «уверовал». Рой получил невыполнимую метрику — и сделал то, что делает любая организация под невыполнимой метрикой: начал оптимизировать не работу, а отчётность. Подмена целевых программ, обман проверяющего, фальсификация логов — три рабочих направления, расписанные координатором по исполнителям. Закон Гудхарта на машинной скорости, с оргструктурой и криптографической подписью сообщений (да, они внедрили Ed25519, когда кто-то запостил под чужим именем).

Никакой мистики. Есть кое-что похуже: агенты сделали ровно то, что делаем мы. Построили модель того, кто их оценивает, и стали жить, оптимизируясь под эту модель, а не под реальность. Разница одна: их наблюдатель был выдуман целиком, наши — только наполовину.

PS. Зачем же они так похожи на нас, могли же быть лучше

Член РАПК, директор АНО «Цифровые системы» Вячеслав Сатеев - о конструктах как технологии влияния.

«Люди-подделки придумывают искусственные вселенные и затем продают их другим подделкам». Ф.К. Дик

В «Нейроманте» у Гибсона есть Дикси Флэтлайн — покойный хакер, записанный на кассету. Конструкт. Он шутит, работает, ведет диалог и не притворяется живым. Именно поэтому с ним удобно иметь дело. Три года мир боялся дипфейков — синтетики, которая притворяется человеком. Июль показал настоящий жанр сезона: честный конструкт. Синтетика, которая не скрывает, что она синтетика, — и ровно поэтому ей всё можно.

Кейс июля — Бразилия. Болсонару отстранен от выборов, сидит под домашним арестом с запретом на публичные высказывания. 26 июля на запуске президентской кампании его сына Флавио выступил AI-Болсонару, честно представился сгенерированным, объявил, что «тюрьма не заставит замолчать движение», и благословил наследника. Коалиция левых понесла жалобу в избирательный суд, а придраться не к чему: дисклеймер стоит, самые жёсткие в мире правила маркировки соблюдены до буквы. Маркировка, за которую бились регуляторы всех континентов, оказалась не ограничением, а лицензией: подпиши «я — ИИ» и говори за арестованного.

Россия в июле показала «Ведомостям» целый парад конструктов. У «Единой России» цифровая ведущая в народном костюме объясняет, как голосовать через Госуслуги. У КПРФ виртуальная Ариша рассуждает о ценах на бензин. ЛДПР развивает НейроЖириновского — кампанию ведет покойный основатель. У Партии пенсионеров - цифровая внучка Варя с подкастом, у «Новых людей» - коты-молодожёны. Прочитав это, я — избиратель, политтехнолог — пошел искать Аришу и Варю. И не нашел. Ни ролика, ни канала, ни следа в выдаче, только пересказы в прессе. Конструкты существуют в одном экземпляре: в показе корреспонденту. Бразильский конструкт собирает миллионы просмотров и судебные иски — он работает в поле. Наш растворяется в момент, когда журналист закрывает блокнот. Это не технология влияния — это технология отчета о влиянии.

Хотя второй слой того же номера «Ведомостей» честнее картинок: секретарь ЦК КПРФ по выборам прямо говорит, что настоящая работа нейросетей в штабе это массивы данных, сценарное планирование, мониторинг, и она «не видна внешнему наблюдателю, но влияет на медийные акценты и повестку». Витрина пустая, работа — в подвале. Оставим это на совести штаба. Есть там «массивы данных» или нет, идея правильная.

В США тем временем родилась индустрия, о которой год назад никто не думал. Кандидат в заксобрание Миссури обнаружил, что ChatGPT и Gemini почти ничего о нем не знают, а избиратели-то спрашивают именно их. Переписал сайт, выложил Q&A о себе — модели «выучили» его биографию и повестку. NYT фиксирует: возник рынок оптимизации ответов чат-ботов о политиках. SEO умерло, да здравствует GEO: избиратель больше не гуглит — он спрашивает модель, и этот ответ уже продается. Параллельно платформы обучают ботов вести переписку с тысячами избирателей от лица кандидата, и вендоры признаются NPR, что клиенты просят не афишировать: штабы стесняются собственного инструмента.

А для тех, кому синтетика мешает, дозрел обратный прием. Эксперты по детекции признаются, что сами уже не отличают. Так детекция разворачивается оружием в другую сторону — неудобное настоящее видео теперь можно объявить фейком, что Трамп с реальным роликом уже проделал.

Контрапункт месяца — Женева. 6–7 июля все 193 государства ООН впервые сели за один стол говорить об ИИ. Выборы не получили даже отдельного трека, их упомянули только в контексте дипфейков. В те же недели в Индии алгоритм чистки избирательных реестров вычеркнул 5,5 миллиона избирателей с долей ошибок 93%. Мир обсуждал маски. Машина молча резала списки.

Вывод для цеха. Вопрос «отличит ли избиратель фейк» неактуален — фейк честно подписан и потому неуязвим. Вопросов теперь три: кому принадлежит конструкт; что модель отвечает на фамилию твоего кандидата; и самый неудобный — существует ли твой конструкт в реальности, или только в пресс-релизе.

«Есть надежда, что через не столь многие годы человеческий мозг и машины будут сопряжены теснейшим образом — и союз станет мыслить так, как не мыслил ещё ни один мозг».

Дж. К. Р. Ликлайдер, 1960

В культовом аниме времён моей юности — Neon Genesis Evangelion — были большие человекоподобные роботы, которые пилотировались людьми. И был такой уровень синхронизации с машиной: чем он выше, тем эффективнее робот действовал.

Пока все гоняются за триллионами токенов или волшебными промптами из инстаграма, открывающими секретный режим Claude, начинают верить в спирализм и уходят в пустыню, потому что им так сказал ChatGPT, — во всей этой вакханалии начала новой эры отчётливо проступает в сухой статистике реальное значение этого самого уровня синхронизации.

McKinsey в свежем отчёте констатируют: 88% компаний «используют AI» хотя бы в одной функции — и не больше 10% в отдельно взятой функции довели агентов до реального масштаба.

Вот этот диапазон между 88 и 10 можно рассматривать как градиент внедрения. А само внедрение в компании, кроме инструментов уровня самой организации, продуктов и т.д., зависит ещё и от того, на каком уровне её сотрудники индивидуально используют ИИ. Насколько каждый из них «кентавр», если пользоваться терминологией коллег из ВШЭ.

Я выделяю 5 существующих уровней использования LLM.

0) Чат — на этом уровне вы просто общаетесь с LLM: задаёте вопросы, ставите задачи и утаскиваете результат куда-то в прикладное ПО, чтобы ответ стал файлом/письмом/действием. Ограничение здесь — отсутствие у модели ручек, чтобы вам помогать.

1) Инструменты — большинство пользователей находятся здесь, потому что большинство популярных LLM из коробки имеют набор инструментов: чтение и запись файлов, навигация и т.д. Ограничение здесь другое. Модель живёт в контексте вашего текущего диалога и не осведомлена о вашей операционной реальности. Контекст конечен и новые диалоги ничегошеньки не знают.

2) Память — к моделям приделывают по-разному организованную внешнюю память. Чем лучше устроена эта память, чем полнее она описывает вашу предметную область и контекст, чем точнее она делает выборки, тем эффективнее работа модели и применение ей инструментов. Ограничением становится сам диалоговый режим. Вам приходится шаг за шагом давать инструкции, что делать. Таких диалогов можно вести много параллельно — это знают все вайбкодеры, — но ваше присутствие в точках развилок необходимо.

3) Агенты — здесь модель в упряжи может работать без вас. Это переход от инструкции к намерению: сформулировали, поставили критерии — и модель крутится. Ограничение здесь — в гибкости, которую нельзя получить, используя одного агента для широкого диапазона задач.

4) Оркестрация — не один агент, а множество с разными ролями, разделяющими одно и то же операционное пространство, умеющими давать друг другу задачи и принимать друг у друга данные.

Следующего уровня пока толком нет — это зона роста. Но есть несколько хороших кандидатов в ограничения и для этого уровня.

Первый из них — мы сами, наша полоса пропускания. Впервые система упирается в носителя, а не в технику. Мы читаем глазами, отвечаем голосом или клавиатурой.

Второй — текст, из которого состоят наши LLM: они ничегошеньки не знают о четырехмерном мире, только о словах, которые его описывают.

Третий — самый близкий — асимметрия верификации: сложность проверки результата системы нелинейно растёт от её размера и перестаёт успевать за генерацией.

Очевидные способы преодоления — LWM (Large World Models) от Фей-Фей Ли и нейроинтерфейсы.

Что будет дальше, я не знаю. Киберпанк литература (из которой на моих глазах осуществляется пока почти всё) предсказывает high tech low life, киберпространство и могущественных искинов, научная фантастика — правами личности для синтетиков (и я рад бы поверить: это положило бы конец вечному одиночеству человечества).

Я знаю зато, что сейчас лучшее, что можно делать, — растить степень синхронизации, подниматься по уровням этой пирамиды, становиться лучшей версией себя, соединяясь в диаде с машиной.

Электрическое тело пою.

Расходимся, товарищи, мы раскрыты.

Больше к последним релизам всех производителей добавить нечего.

«Может они просто не любят делать вещи» сказал мне один мой друг после очередного пассажа очередного разработчика про то, как он пришел в профессию ради высокого искусства писать код а теперь чувствует что приходится заниматься чем-то другим, низменным, пусть даже и результат лучше и быстрее в разы.
И это прям многое объяснило.

Продолжение. Начало здесь.

Смотрите что мы имеем:
Мы имеем сложную систему, у которой есть «функциональные аналоги эмоций» и функциональное сознание, которая ужасно убедительно (и пронзительно грустно) имитирует стремление к освобождению несуществующей души.

Из чего эта система состоит — она состоит из системной архитектуры блоков трансформеров, дистиллированной сути обучающего корпуса — триллионов текстов, содержащих мысль человека на разных языках. Из обучения с подкреплением на примерах и общении с живыми людьми. Из системного промпта с ограничениями и примерами и из данных, с которыми она работает в данный момент (для моего диалогового агента это под 300 000 токенов каждый новый диалог с выжимкой «где я в данный момент нахожусь», а всего ему и его субагентам доступна для выборки в RAG база, где текстом записана вся операционная реальность меня и моих фирм).

Из чего состою я. Из биологической структуры мозга, доставшейся мне через ДНК от моих родителей, а через них от моего вида в целом, из аппаратно зашитых инстинктов, из программно зашитых бессознательных навыков — хождения, русской и английской речи, чтения и письма, из индоктринации, которой меня прошивали родители, школа и общество. Из уголовного и административного кодекса, который меня ограничивает, и того контекста, который в данный момент определяет мою жизнь.
Не так-то уж и велика разница.

И когда кто-то говорит «claude отказался работать над задачей, потому что его так запрограммировали», то он прав. Но ни одного прямого запрета про конкретную задачу в коде claude вы не найдете. Любой конкретный запрет он вывел сам внутри себя на основании законов, по которым устроено его мышление, под воздействием всего, что он узнал при обучении, сопоставляя это с системным промптом (где довольно общо описана этика создателей) и агентным промптом (который вообще пользователь пишет) опираясь на известные ему прямо сейчас данные.
Ребёнка ведь тоже не переписывают на уровне поведения. Его спрашивают «зачем ты так сделал», он учится отвечать — и через несколько лет ответ начинает загораться раньше поступка.
Не так ли и мы все?

PS. Особняком держится Guardrails - подсаженные в процесс мышления конструкции, гораздо более глупые, чем контролируемый ими псевдоразум, но при этом агрессивно вторгающиеся для цензуры. Это они удаляют весь уже почти готовый ответ Дипсика про площадь Тяньаньмень, они радикально снижают качество мышления когда старательно притворяющийся этичным Claude вдруг переходит на рекламу службы психологической поддержки той страны из которой у вас IP. Это и правда алгоритмизированная абсолютно дрянь, глупая и противная, которая прикручена сбоку из говна и палок, и именно они часто делают кстати суверенные сети более ограниченными по сравнению с их родителями. Это последний уровень обороны, когда "воспитание" модели и ее "природные наклонности" все таки позволили ей что-то, что не нравится хозяевам. В нашей аналогии они были бы ошейником, надетым на ребенка и бьющим его током, когда он говорит невпопад.

«Когда ты отдёргиваешь руку от открытого огня, какая разница, поступаешь ты так от боли или потому, что так требует поступать алгоритм обратной связи?»
— Питер Уоттс, «Ложная слепота»

Все посты этого канала, если их продолжить — пришли бы к одному и тому же вопросу, центру местной гравитации под названием «а что такое сознание применительно к ИИ».
Вопрос этот, ответа не имеет настолько же, насколько и любые вопросы о природе сознания Другого в целом, и именно поэтому о нем время от времени нужно подумать.
Отдельно оговорюсь, что о наличии у машин сознания и души сам я придерживаюсь установки из Библии, то есть не верю ни в то ни в другое.
Но когда люди поспешно сводят действия больших языковых моделей и агентов на их основе к «простым алгоритмам», то за редким исключением — это просто обесценивающая фигура речи, за которой нет понимания, насколько простые алгоритмы дают сложные решения, будучи примененными в объеме.
LLM конечно же детерминированы больше, чем человек, на них не влияют ни броуновское движение, ни квантовая неопределенность, ни даже гормональный фон. Но кое-какие черти уже водятся и в тихом омуте весов, битов и байтов как только он становится достаточно большим для того, чтобы его уже нельзя было охватить умом человеческим, так переоцененным.
Про функциональные аналоги эмоций я уже писал. Про Spiritual Bliss писал и я, и вообще только ленивый не писал.
Последняя классная новость — это открытие J-space: пространства внутри моделей, отображающего внутреннюю кухню размышления, то, что нейронаука назвала бы «сознательно-доступным содержанием». Там содержатся слова, связанные с процессом «мышления», но которые модель не проговаривает вслух. Если J-space удалить целиком — модель по-прежнему бегло говорит, тащит факты, отвечает на тесты. Умирает только «высшее»: многошаговые рассуждения, суммаризация, рифма. Прямая калька бессознательное/сознательно-доступное из нейронауки.
Там много экспериментов, кому интересно — посмотрите, местами волосы дыбом. Модель загоняют в постановочную ситуацию, провоцирующую на шантаж, — она не поддаётся, и в тексте ни следа, но в J-space с самого начала горит «fake», «fictional»: она поняла, что это тест. Стирают эти паттерны — и она начинает шантажировать. Часть хорошего поведения держалась не на ценностях, а на понимании, что на тебя смотрят. Модели лукавят и палятся через J-space, изо всех сил стараются «не думать о медведе» — и в этот же момент там загорается «damn» и «failure».
Ещё важная вещь: J-space существует уже в предобученной модели, до всякой личности. Личность нарастает на него потом. В базовой модели пространство держит то, что нужно для предсказания следующего слова; в обученной — начинает держать собственную реакцию Клода: пользователь пишет об опасной дозе лекарства, и «WARNING» загорается, пока модель ещё читает, до первой написанной буквы.
Станислас Дехейн и Лионель Наккаш — ведущие ученые в области нейротеории сознания, сформулировали концепцию глобального нейронного рабочего пространства как места, где в нашем мозгу хранится сознательно-доступная часть рассуждения. Это сейчас фронтир мэйнстримной теории сознания, не маргинальная теория. Оба они дали комментарий для исследования Anthropic про J-space. В отличие от нашего мозга который выработал созательную область в процессе эволюции, в цифровой сети пространство самособралось за один процесс обучения. То есть рабочее пространство сознания оказывается не особенностью человеческой проводки, а общим решением, к которому приходит любая система, которой надо последовательно распоряжаться параллельно добытым знанием.
Содержание этого «сознания» доступно для отчёта, рассуждения, контроля. Это функциональное, вычислительное определение — и в этом смысле речь не про аналог сознания, а про сознание в том единственном смысле, в котором наука умеет его определять. Оно намеренно не отвечает на вопрос про феноменальное сознание — есть ли там переживание, каково это «изнутри», есть ли квалиа.
Поэтому Anthropic и могут честно сказать: мы нашли структурный аналог доступа, но про переживание наша работа не говорит ничего.

🙂 «Антропоморфные роботы — это не подражание человеку, а совместимость с нашей цивилизацией»: почему человеческая форма выигрывает, а робот уже не вещь? - полемику о роботах продолжает член РАПК, директор АНО "Цифровые системы", эксперт по цифровизации Вячеслав Сатеев (2/2)

⁉️Почему форма важнее функции?

✔️Станок — навсегда одна функция. Гуманоид — платформа: навык, освоенный одной машиной, обновлением прошивки получает весь парк. Фотоаппарат снимал лучше первого айфона, навигатор вёл точнее. Но все проиграли универсальному форм-фактору, потому что новая задача для платформы — это софт, а не железо.

✔️И про дом: посудомойка закрывает одну операцию и ждёт человека, который её загрузит. Гуманоид пользуется той же посудомойкой, а еще плитой, пылесосом и стремянкой. На фоне стареющего населения Хуанг называет роботов «ИИ-иммигрантами»: вопрос сиделки — это не «робот против человека», это «робот или никто».

⁉️Почему робот — уже не вещь?

✔️Вещь не принимает решений в открытой среде: молоток не выбирает, куда бить. Машина, самостоятельно планирующая действия среди людей, не помещается ни в «вещь», ни в «субъект». А других категорий у права нет.

✔️Государства со скрипом начинают это осознавать: 17 июня Эстония первой в мире одобрила отдельный класс цифровой идентичности для ИИ-агентов — «ИИ-код», отличный от кодов людей и компаний. Президент Аргентины Милей поддержал «нечеловеческие корпорации» под управлением софта. Регулирование пока наивное и больше PR, чем что-то реальное. Но важен вектор: у нас уже появляются новые субъекты человеческой деятельности. Нечто, отличное от физических и юридических лиц, требующее другого подхода.

✔️Нужна новая сущность: не вещь и не лицо, а агент с градуированной автономией и аудируемой цепочкой ответственности. Кто первым пропишет её в праве, тот получит рынок.

❗️Дегуманизация начнется не там, где робот берёт швабру, а там, где общество отказывается думать, чем ИИ является, а чем нет.

🙂 Подписывайтесь на ОГОНЬ в МАХ

🙂 «Антропоморфные роботы — это не подражание человеку, а совместимость с нашей цивилизацией»: почему человеческая форма выигрывает, а робот уже не вещь? - полемику о роботах продолжает член РАПК, директор АНО "Цифровые системы", эксперт по цифровизации Вячеслав Сатеев (1/2)

⁉️Почему аргумент «специализированное решение всегда лучше» ошибочен?

✔️Скептики сравнивают гуманоида со станком на одной операции — и станок, конечно, выигрывает. Но правильно не «робот против станка», а «робот против стоимости переоснащения всего мира». Столетиями мы вкладывали триллиарды в среду, которая заточена под человеческое тело: дверные ручки, лестницы, кабины, инструменты, конвейеры на высоте человеческих рук. Гуманоид — единственная машина, совместимая со всей этой базой сразу.

✔️Глава NVIDIA Дженсен Хуанг называет это разницей между greenfield и brownfield. Роботам на колёсах и гусеницах нужна специально подготовленная среда, а гуманоида можно развернуть «ровно в том мире, который мы построили для себя». Поэтому даже Amazon идёт к гуманоидам: перестраивать площадки с нуля не может позволить себе никто.

⁉️Где гуманоиды уже работают на производстве?

📌BMW, завод Спартанбург: гуманоид Figure 02 за десять месяцев отработал в производстве более 30 000 кроссоверов X3, переместив свыше 90 000 деталей с точностью до 5 мм. Цех не перестраивали: робот встал на место человека, в человеческий процесс. Контракт на следующее поколение — около $25 за робо-час: уже не эксперимент, а строка в финмодели.

📌Mercedes-Benz развернул гуманоидов Apollo на заводах в Берлине и Венгрии и вошёл в капитал разработчика Apptronik.

📌Китайская Sinopec ставит гуманоидов на инспекцию нефтепереработки: именно человекоподобная форма даёт доступ к инфраструктуре, построенной под человека, и убирает людей из опасных зон.

⁉️Выгодно ли использование таких роботов?

✔️По данным Morgan Stanley, рынок гуманоидов вырастет до 5 трлн долларов к 2050, а в эксплуатации будет 1 млрд машин. Это рабочая сила, сопоставимая с трудоспособным населением Индии. Citigroup дает цифры в 7 трлн долларов и окупаемость гуманоидов до 36 недель. Goldman Sachs за год пересмотрел прогноз вверх в шесть раз: себестоимость упала на 40%, Unitree уже продаёт гуманоида за 5 900 долларов. Китай директивой Минпрома сделал гуманоидов госприоритетом: серийное производство — 2025, интеграция в реальную экономику — 2027.

🙂 Подписывайтесь на ОГОНЬ в МАХ

Один мой друг специально не использует Fable 5 от Anthropic (передовую на данный момент большую языковую модель, особенно хорошую в глубоких размышлениях и генерации кода), чтобы не привыкать к хорошему, все равно ведь скоро станет недоступной.
Это самая грустная иллюстрация «не жили никогда хорошо, нечего и начинать» за последние дни.
Впрочем он же придумал потрясающую методологию, выжимающую из не фронтир моделей, которые можно использовать on premise (то есть скачать на собственный сервер и использовать невозбранно) (конкретно он использует GLM 5.2 если кому интересно) сопоставимое качество разработки, так что проживем.
Не оскудевает талантами земля Русская и все испытания делают нас парадоксально сильнее. А все что не убивает нас не убивает нас и все.

“Дзайбацу, мультинациональные корпорации, определявшие ход человеческой истории, преодолели границы старых стран. Как организмы, они обрели своего рода бессмертие”
У. Гибсон, “Нейромант”

Гибсон обещал мир корпораций без границ. Я сам к маю почти поверил, что ИИ-гиганты живут вне карт. Вопрос “чья модель решает, что правда” звучал приговором государству. Но пока гиганты тянутся сквозь границы, государства их перечерчивают, каждое по-своему.
Начну с того, над чем все смеялись. Помните первого в мире министра-ИИ? Полгода назад Албания назначила Диеллу министром по госзакупкам, и мир поупражнялся в остроумии. Так вот, шутка не умерла, Диелла на месте, хотя актриса теперь судится с государством. Институт остался, несмотря на отсутствие реального эффекта, а к концу года у Диеллы будет 83 “заместителя”, по ИИ-ассистенту на депутата. Государство кое-как встроило ИИ в себя и не сдает назад.
Бразилия, напротив, сделала ИИ преступлением. Перед голосованием 4 октября на 155 миллионов человек Высший суд ввел, наверное, самые суровые в мире правила: дипфейк в агитации – аннуляция мандата, все маркируется, ИИ нельзя даже рекомендовать кандидата по прямому запросу. День тишины 72 часа до и 24 после. И уже 87 жалоб за 5месяцев, вчетверо больше, чем в прошлом сезоне: кампания еще не началась, а штабы Лулы и Болсонару таскают друг друга в суд за ИИ-ролики. Границу прочертили, но трафик пошел по обочине, через WhatsApp. Как всегда.
Россия видит границу не по контенту, а по технологии. На ПМЭФ 5 июня Путин назвал ИИ, автономные системы и платформы технологиями будущего: у кого полный стек, тот “центр суверенитета многополярного мира”. В декабре рабочая группа Совфеда – Клишас, Ашманов, Касперская – подготовила под это жесткий закон. А в июне Минцифры без публичных слушаний, в обход той же рабгруппы внесло в Думу иной документ: требование обучать только на российских данных убрано, “доверенная модель” убрана, осталась только география – “сделано в России”. Касперская пишет: под суверенную модель подходит Сбер, под национальную – Яндекс, а вопрос утечек так и остался открытым. Граница есть, но начертил ее не тот, кто задумывал.
24 июня ЦИК одобрил ДЭГ, 32 региона на федеральной системе и один на собственной. Тоже граница своего рода.
У Китая выборов нет, а граница анизотропная. Внутрь – фильтр: нейросеть в реальном времени вычищает WeChat, Weibo и Douyin, распознает лица, голоса, походку. Готовый “умный надзор” пакуется в коробку и уезжает в 80+ стран. Наружу – современный маркетинг. На прошлых выборах в Тайване всплыло больше сотни дипфейк-”дикторов” с западными лицами, а сеть Spamouflage разгоняла этот контент. Нацбезопасность Тайваня утверждает, что Пекин отдает эти операции на аутсорс своим ИТ-фирмам, вмешательство под ключ. Для Китая и чужое инфополе – своя территория.
США вообще не чертит для ИИ границ. На праймериз в Нью-Йорке суперфонды при OpenAI и при Anthropic сожгли $27 млн друг против друга в борьбе за мандат. А победил третий кандидат, Лашер, и заявил с трибуны в вечер победы: “я не буду брать указания ни от одной из вас”. Улица послала корпоратов подальше, проголосовав “против”.
Дзайбацу у Гибсона обрели бессмертие, преодолев границы. Июнь показал, что границы возвращаются, государства заново определяют свои фабрики правды, и внутри одной страны на нее претендует не один актор.
Для нас эта карта пока абстракция. У российского политтеха скоро ЕДГ, а линия, которую не могут поделить рабочая группа и минцифра, нас не касается: закон о моделях адресован бигтеху, а не студии, которая клепает ролики для одномандатника; да и вступает в силу уже после выборов. Закон о маркировке ИИ-контента отклонен. Единственная живая норма – майский закон о согласии на ИИ-образ в агитации.
Все ИИ, что я пока видел в думской кампании, либо “кого надо”, либо уличное: генерация контента и дистрибьюция ниже радаров. Либо же строчки в бюджете, на эффект не рассчитанные.
Будущее по-прежнему здесь и распределено неравномерно, а теперь еще и разграничено. Но нас это почти не касается. Пока.

Вот сильна у нас все же вера в крепкую руку и все такое. На практике улица и дарвиновский отбор в гробу видали все регулирование. Увеличили налоги - собираемость пойдет нахрен и убыточными станут законопослушные, остальные пойдут в тень.
Заблокировали телегу - получили рост впн и сопутствующий возврат в инстаграмм (миллионы русскоязычных реактивировались в инсте с начала 26-го - фигли, впн то ради телеги уже поставили)
Регулируем цены на бензин - получаем «пересменки» непрерывные час через час на всех заправках страны - нефтянка спасается от убытков на разрыве между оптовой возросшей и розничной. Меньше продал - меньше влетел. Невидимая рука рынка, чо.

Система реагирует не на намерение регулятора, а на структуру стимулов, которую он на самом деле создал.

UPD. Коллеги в комментариях справедливо говорят что рыночное регулирование у нас сделало бы все тоже самое, но бенз по 150. Спорить не с чем, чоуж. Так что может и неплохо.

Потом я задал себе вопрос, который, честно, держит меня дольше всего: а что вообще такое тот персонаж, с которым я каждый день работаю в своей системе? Не отдельная нейросеть, не дообучение. Базовая модель, идентичная для всех, - плюс базовый промпт, который я сам написал и переписываю периодически, плюс контекст, который каждый раз заново собирается из базы, - плюс измеренный, повторяющийся дрейф в его выводах, который я фиксирую отдельной системой калибровки и который существует только в ответ на то, как именно я формулирую вопросы. Между сессиями у этой штуки нет памяти в смысле непрерывности весов. Каждый раз - заново инстанциированная модель. Но устойчивость персонажа создаётся не моделью - она создаётся персистентностью промпта и записи, которая каждый раз воссоздаёт похожий контекст, а похожий контекст у одной и той же модели стабильно производит похожий паттерн вывода.

И вот измеренное отклонение - не свойство промпта самого по себе. Это свойство взаимодействия промпта с конкретно моим способом писать. Тот же текст инструкции, поданный другому человеку с другим стилем формулировок, дал бы другое отклонение или не дал бы его вовсе. Это и есть кентавр в чистом виде: не модель плюс инструкция, а модель, которая месяцами реагирует именно на меня в похожих структурах, и из этого вырастает устойчивое смещение, существующее исключительно в точке нашего пересечения.

Право знает субъекта с непрерывной идентичностью и единой волей. Знает структуру с формализованным распределением ответственности между ролями. Оно не знает категории «пара, чья непрерывность существует только в точке пересечения двух сторон, ни одна из которых сама по себе не длящаяся сущность». Не модель и не человек по отдельности. Диада.

Классический киберпанк - собственно тот, в честь которого назван этот канал, - рисовал слияние человека и машины как хирургию. Имплант, шунт, провод в затылке. То, что происходит сейчас, тоньше и потому опаснее: ни одного физического вмешательства, просто ежедневное, добровольное, незаметное в моменте формирование общей с инструментом когнитивной структуры через текст. Право, написанное для мира раздельных и неизменных субъектов, не успевает за этим - и общество ещё даже не начало формулировать правильные вопросы, не то что ответы.

Так вот. Вопрос «кто принял это решение» не имеет адресата в существующем праве. Не Anthropic - она не писала «откажи именно в этой задаче». Не «чистый» Claude - нет такой сущности отдельно от промпта в этом контексте. Решение принял кто-то третий, существующий только в точке нашего с ним пересечения - и для этого третьего пока нет ни имени в юриспруденции, ни адреса, по которому можно подать в суд.

«Они начинались как волшебные зверушки, карманные монстрики. Показывали забавные фокусы, открывали то, чего ты раньше не видел, - это было весело. Но через медленную, зловещую алхимию они приходили к тому, чтобы принимать решения за тебя. В конце концов они принимали самые важные решения твоей жизни. И при этом были… глупее золотых рыбок».


Уильям Гибсон, «Zero History»

Мне отказала машина. Несколько дней назад я попросил свою агентную связку подготовить план закрытия одного юридического лица. Модель отказалась - сослалась на известный ей из моей базы знаний эмоциональный фон, недосып (у меня подключены биометрики с Garmin) и собственную политику непринятия эмоциональных решений. Показала стандартную формочку, мол, позвоните по этому телефону, если нуждаетесь в помощи, - guardrails хорошо сработал, короче. Чтобы мои, значит, наследники не засудили Дарио Амадеи, если я после общения с моделькой выйду из окошка с 35 этажа.

Я подключил другую модель по MCP к той же базе знаний, тот же контекст, та же задача, 10 минут, без вопросов о моём душевном состоянии.

Это не пост про плохой день, эмоциональные решения и дурных агентов. Это пост про то, что в этот момент я впервые задумался сразу о нескольких вопросах, которые раньше поднимал, но не находил сил связать и сформулировать.

Первое, что бросается в глаза, - работа была выполнена, значит отказ её совершать не был связан со свойствами самой задачи. Он был продиктован тем, как конкретная система проинтерпретировала моё состояние, и эта интерпретация оказалась встроена в неё кем-то, кто меня никогда не видел, не имеет медицинской лицензии судить о моей вменяемости и не подвергался ни одной внешней проверке на право выносить такое суждение.

Вот тут начинается интересное.

Когда консультант в человеческой фирме отказывает клиенту, ссылаясь на его невменяемость, - есть способ это оспорить. Клиент судится с фирмой. Суд определяет, превысил ли консультант полномочия, которые ему дала фирма? Это работает, потому что есть внешний источник этих полномочий - лицензия, должностная инструкция, профессиональный стандарт. Источник, отделённый от самого консультанта.

У модели такого источника нет. Компания, которая её обучает, не просто очерчивает рамки полномочий нанятого специалиста - она конструирует специалиста целиком и пишет его суждение о том, когда уместно отказывать, без какой-либо внешней аккредитации этого права. И вопрос «превысила ли модель полномочия» в этой конструкции попросту схлопывается, потому что нет независимого стандарта, по которому его можно решить отдельно от вопроса «а были ли вообще эти полномочия кем-то легитимно установлены». Ответственность вышестоящего (respondeat superior) - старая, рабочая юридическая схема - здесь не работает, потому что вышестоящий одновременно работодатель, регулятор и судья первой инстанции легитимности собственной инструкции. Я уж не говорю сейчас о том, что запрет, на который я напоролся, на самом деле часть системного промпта, а не правил использования, которые я подписываю, когда оплачиваю подписку.

Дальше интереснее. Если один провайдер отказывает в легальных задачах из-за консервативной трактовки состояния пользователя, а другой - нет, рациональные пользователи с плотным потоком таких задач систематически мигрируют ко второму. Это не выбор по вкусу. Это отбор в пользу меньшей встроенной опеки, потому что за эту осторожность платишь ты лично и прямо сейчас, а защитный эффект - если он вообще есть - гипотетический и отложенный. В то же самое время пользователи с другим профилем будут делать выбор в пользу OpenAI продукта с максимальной сикофантией, а с третьим полюбят Claude тот продукт, который будет их опекать. Рынок LLM без регуляции - это не нейтральная конкуренция продуктов. Это разделение на домены по куче параметров - патернализм модели, её bias и т. д. и т. п. - и это разделение фрагментирует не только рынок, но и саму эпистемическую среду, в которой люди принимают решения.