Thinking by writing (IT)

Инженерно-этический анализ (2/2)

5. Этический анализ порождает требования к системе

Анализ стейкхолдеров часто заканчивается планом взаимодействия: кого привлечь, с кем согласовать, кого информировать.

Этический анализ заканчивается дополнительными функциональными и нефункциональными требованиями.

В случае антифрода это могут быть:
- объяснение причины задержки;
- альтернативное подтверждение операции;
- максимальный срок человеческого пересмотра;
- экстренный канал для критически важных платежей;
- исправление ошибочных данных;
- запрет использовать единичное срабатывание как характеристику клиента;
- журнал решения модели и сотрудника;
- процедура обжалования;
- раздельный мониторинг ошибок по группам;
- автоматическая остановка при превышении порога ложных блокировок.

Иными словами:

Анализ стейкхолдеров помогает организовать работу с людьми. Этический анализ меняет само решение.

6. Этический анализ проверяет того, кто принимает решение

Анализ стейкхолдеров обычно фиксирует принимающее решение лицо как участника с высоким влиянием.

Этический анализ задаёт дополнительные вопросы:
- вправе ли этот субъект принимать такой риск;
- может ли он принимать риск за другую группу;
- кто реально отвечает за последствия;
- способен ли пострадавший оспорить решение;
- кто контролирует выполнение safeguards;
- кто обязан остановить систему;
- кто письменно принимает остаточный ущерб.

Директор по безопасности может иметь организационные полномочия запустить антифрод. Но из этого ещё не следует, что он единолично вправе принять риск тысяч ложных блокировок, особенно если последствия затрагивают права клиентов и регулируемые процессы.

Здесь различаются:
влияние ≠ полномочие ≠ ответственность ≠ право принять чужой риск.

7. D.5 добавляет аудит скрытых смещений

Обычный анализ стейкхолдеров может правильно перечислить всех участников, но всё равно пропустить смещение внутри самого решения.

Например:
- модель точна в среднем, но чаще ошибается на клиентах из регионов;
- геолокация работает как прокси социального положения;
- дашборд показывает предотвращённые потери, но скрывает число пострадавших;
- среднее время разблокировки скрывает людей, ожидавших несколько дней;
- категория «подозрительный клиент» превращает технический сигнал в характеристику человека.

D.5 отдельно проверяет представленность, алгоритмические прокси, видимость, метрики, язык категорий и человеческие последствия. Обычная техническая верификация может быть успешно пройдена, хотя эти проблемы останутся скрытыми.

Итоговое различие

Обычный анализ стейкхолдеров - Инженерно-этический анализ
Кто участвует и влияет? - Кто затронут, даже если не влияет?
Каковы интересы и ожидания? - Какие ценности, права и допустимые границы стоят за интересами?
Кто поддерживает или сопротивляется? - Кто получает благо и на кого переносится цена?
Как вовлекать участников? - Как изменить архитектуру решения?
Как управлять конфликтом? - В чём состоит конфликт ценностей и можно ли считать компромисс допустимым?
Кто принимает решение? - Кто вправе принять остаточный риск и кто отвечает за последствия?
Как коммуницировать изменения? - Какие нужны safeguards, апелляция, мониторинг и остановка?
Как обеспечить принятие решения? - Допустимо ли решение вообще?

Поэтому анализ стейкхолдеров не является альтернативой этическому анализу. Он представляет собой один из его входов.

Самая компактная схема такова:

Анализ стейкхолдеров: кто здесь есть и чего он хочет?
Этический анализ: что с каждым из них произойдёт, допустимо ли это, кто вправе это решить и что должно ограничивать решение?

Инженерно-этический анализ (1/2)

Чтобы разобраться с этическим анализом в FPF сделал два небольших исследования:

1. По совету Анатолия Левенчука пропустил ранее разобранные программы политических партий Казахстана через пять этических паттернов раздела D. Через несколько часов работы получил этический анализ 1000 обещаний 7 политических партий.
2. Разобрал банковский проект "Внедрение ИИ для предотвращения банковских переводов".

Что выяснил?

Этический анализ - это не обычный анализ стейкхолдеров. Анализ стейкхолдеров это:
- кто заинтересован в проекте;
- кто влияет на решение;
- у кого какие ожидания;
- кто поддерживает или сопротивляется;
- как вовлекать и информировать разные группы.

Этический анализ начинает с этой карты, но идёт дальше:
- чьи права, возможности или безопасность могут быть ограничены;
- кто получает выгоду, а кто несёт риск и издержки;
- можно ли считать эти издержки допустимыми;
- кто вправе принять остаточный риск за других;
- какие нужны компенсации, апелляции и защитные механизмы;
- при каких условиях решение должно быть остановлено или пересмотрено.

Для FPF полезен анализ стейкхолдеров для выявления затронутых сторон, ценностей и долгосрочных эффектов. Но этот анализ будет только входом в более полный анализ конфликта, а не готовой процедурой его разрешения.

1. "Влиятельный" не означает "этически значимый"

В обычной матрице стейкхолдеров часто используются две оси: влияние × заинтересованность.

В результате основное внимание получают регулятор, руководство, крупный клиент, владелец продукта. Человек с низким влиянием может попасть в категорию "наблюдать" или "информировать".

Для этического анализа это опасно. У группы может не быть власти, но именно она понесёт основной ущерб.

Например, при внедрении автоматического антифрода:
- руководство банка обладает высокой властью;
- служба безопасности влияет на правила;
- регулятор способен остановить проект;
- клиент, которому ошибочно заблокировали деньги перед операцией ребёнка, почти не влияет на проект.

В анализе стейкхолдеров последний клиент - один из миллионов пользователей. В этическом анализе тяжесть и необратимость его возможного ущерба могут сделать его центральной фигурой.

Поэтому FPF D.2 требует выводить затронутые уровни и группы из конкретной ситуации, а не пользоваться готовой лестницей или ранжировать их только по организационной власти. Решение может улучшать один контур и переносить стоимость, риск или ответственность в другой.

2. Интересы не равны ценностям и правам

Анализ стейкхолдеров обычно фиксирует интерес:
- банк хочет снизить потери;
- клиент хочет быстрый перевод;
- контакт-центр хочет уменьшить нагрузку;
- регулятор хочет соблюдения требований.

Этический анализ уточняет, почему эти интересы имеют значение и что именно защищается:
- сохранность имущества;
- автономия человека;
- равный доступ к услуге;
- право на объяснение и обжалование;
- недопустимость непропорционального ограничения;
- профессиональная ответственность сотрудников;
- устойчивость финансовой системы.

Это важно, потому что интересы могут быть договорными и изменяемыми, а некоторые ценности задают границы допустимого решения.

Например:
"Клиенту неудобно ждать разблокировки" и "Человек лишён возможности распоряжаться собственными средствами без объяснения и процедуры пересмотра" - не одно и то же описание проблемы.

D.1 требует назвать ценностную рамку, затронутый объект, доказательства и допустимое использование вывода. Слова "справедливый", "ответственный" или "безопасный" без этого остаются этическими лозунгами. Техническая успешность модели сама по себе не разрешает её применение.

3. Анализ стейкхолдеров фиксирует позиции, этический анализ строит структуру конфликта

Анализ стейкхолдеров может показать:
- служба безопасности поддерживает автоматическую блокировку;
- продуктовая команда опасается ухудшения клиентского опыта;
- контакт-центр ожидает рост обращений.

Но этический анализ должен сформулировать сам конфликт:
Повышение чувствительности антифрода сокращает число пропущенных мошеннических операций, но увеличивает число законных клиентов, на которых банк переносит стоимость своей защиты.

Затем конфликт раскладывается:

Сторона А
- ценность: безопасность средств;
- бенефициары: клиенты и банк;
- последствие без меры: потери от мошенничества;
- горизонт: немедленный и накопительный.

Сторона Б
- ценность: доступ к собственным средствам и автономия;
- затронутые лица: ошибочно заблокированные клиенты;
- последствие меры: сорванные платежи, финансовый и нематериальный ущерб;
- горизонт: от нескольких минут до критических необратимых последствий.

D.3 требует связать стороны конфликта с конкретными затронутыми объектами, масштабами, доказательствами, неопределённостью и горизонтами последствий. Описание конфликта при этом ещё не считается его решением.

4. Вовлечение не заменяет медиацию

Обычный результат анализа стейкхолдеров может звучать так:
- провести консультации с клиентами;
- согласовать решение с комплаенсом;
- уведомить контакт-центр;
- подготовить коммуникационный план.

Это полезно, но не отвечает на вопрос, какая архитектура решения допустима.

Инженерно-этический анализ рассматривает варианты:
- Полная автоматическая блокировка.
- Дополнительное подтверждение клиентом.
- Человеческая проверка пограничных случаев.
- Только предупреждение без блокировки.
- Теневой режим модели.
- Отказ от применения модели к отдельным категориям платежей.

Для каждого варианта оцениваются:
- выгоды;
- ущерб;
- распределение ошибок;
- обратимость последствий;
- стоимость;
- защитные механизмы;
- остаточный риск.

Результатом может стать не только «выбрать компромисс», но и:
- запросить дополнительные данные;
- ограничить область применения;
- провести пилот;
- изменить архитектуру;
- отказаться от решения;
- разрешить применение при заданных условиях.

FPF D.4 специально удерживает отказ, запрос доказательств, условное решение и принятие остаточного ущерба как самостоятельные результаты. Формула оптимизации, положительный аудит или технический сертификат не создают морального разрешения действовать.

Секретные кнопки гос-ИИ

Когда-то один известный проповедник произнёс воодушевляющую речь: "I have a dream: что однажды чиновник и ИИ возьмутся за руки, словно братья и сёстры, и государственное управление станет разумным, справедливым и эффективным. ИИ будет объективно судить, где в стране беда и какой аким плохо работает. Машина соберёт бюджеты, обращения через e-Otinish, аварии и выплаты, а раз в неделю раскрасит области в зелёный, жёлтый и красный. Не начальник решил - машина посчитала. И всякий дол возвысится, всякая гора и холм понизятся, пути кривые выпрямятся, и явится слава ЖАҢА ҚАЗАҚСТАН, и узрит её всякая плоть".
 
Перевод немного неточный, но мечта достойная. А теперь о том, как это будет работать на самом деле.
 
Что будет решать ИИ, а что - люди, стоящие рядом с ним?
 
За каждым "так решил ИИ" стоит не один человек с тайной кнопкой, а цепочка человеческих решений: о целях, данных, порогах, толкованиях и исключениях. Отсюда Правило секретной кнопки: машина считает внутри заданной рамки, а власть получает тот, кто задаёт рамку и связывает результат с последствиями. Кнопки - это места, где рамку задают; каждая из них умеет тихо объяснить машине, в какую сторону думать.
 
Кнопка первая: что считать важным. Прежде чем ИИ начнёт считать, кто-то решает, что весит больше - жалобы, освоение бюджета, безработица или аварийность. Крутнул в одну сторону - красным загорелись одни области. В другую - совсем другие. Машина посчитала честно; просто значение слова "хорошо" ей задал человек. Там же выставляют и границу: с какого значения жёлтый становится красным. Если сравнивают не с нормативом, а друг с другом, красный будет всегда - кто-то обязан оказаться последним, даже если везде стало лучше.
 
Кнопка вторая: что ИИ вообще увидит. Машина судит только по тому, что в неё завели. Не подал район сведения вовремя - и проблемы будто не было. Так целую беду можно сделать невидимой: не спрятать, а просто не показать системе. И панель уверенно рисует зелёное там, где она слепа.
 
Кнопка третья: что значит цифра. В одной области резко выросли жалобы. Плохо? А может, люди поверили в цифровой канал и начали писать, а акимат не мешает регистрировать обращения. Одно число можно прочесть и как провал, и как успех. ИИ не читает - он показывает то чтение, которое ему выбрали.
 
Кнопка четвёртая - та самая секретная. Иногда результат оказывается политически неудобным. На этот случай нужна ручная поправка: паводок, приток населения, сбой данных - красный можно временно сделать жёлтым "по объективным обстоятельствам". Функция честная и необходимая, машина ведь всего не знает. Но она же самая мощная: вопрос уже не в алгоритме, а в человеческом праве его отменить. И если журнала нет - кто запросил исключение, кто одобрил, видел ли начальник исходный результат, - ИИ остаётся в роли беспристрастного судьи, а решение тихо принимает тот, чей палец на кнопке.
 
И есть пятая кнопка: что следует за цветом. Пока красный - просто сигнал на экране, это аналитика. Когда он запускает проверку, влияет на трансферты, попадает в кадровую оценку акима или становится первым пунктом совещания, начинается власть.
 
Так что же решает - машина или человек? Машина действительно считает. Иногда она даже обнаруживает закономерности, которых никто заранее не ожидал. Но цели, данные, пороги, допустимые объяснения и последствия задаёт аппарат. ИИ превращает эту сложную цепочку решений в цифру, выглядящую объективной. Раньше акиму говорили: "Нам кажется, у тебя плохо", - и он спорил. Теперь скажут: "Так показала система", - и спорить станет гораздо труднее.
 
Кнопки по большей части нужны честно: критерии кто-то должен выбрать, данные - очертить, границу - провести, исключения - предусмотреть. Беда начинается, когда кнопок не видно и непонятно, кто за них отвечает.
 
Машина чиновника не заменит. Но между тем, что произошло в стране, и тем, что увидит руководство, встанет новый слой: куратор системы, владельцы данных, архитекторы модели и держатель права исключения. Их аппаратный вес и будет расти. Именно они решат, какая версия страны попадёт наверх под видом того, что "объективно показал ИИ".

Вывод явных структур из неявных интуиций LLM: Compilence и FPF (2/2)

5. Поиск пробелов и конфликтов
 
Если обязанность ссылается на неопределённый термин, две нормы пересекаются или для конфликта не задан приоритет, это можно обнаружить при компиляции, а не после ошибочного решения.
 
6. Требования как проверяемая среда
 
Тот же подход применим к спецификациям, API-правилам, архитектурным ограничениям, стандартам безопасности и разработки.
 
ИИ пишет код или проектирует решение, а скомпилированный корпус проверяет его до выпуска.
 
Получается важный переход:
 
раньше база знаний помогала ИИ ответить;
теперь база знаний может начать управлять тем, что ИИ имеет право ответить или сделать.
 
Официальное описание Compilence рассматривает именно такие сценарии: compliance, государственные и правовые корпуса, здравоохранение, закупки, безопасность и проверку действий coding-агентов.
 
Чем Compilence отличается от FPF
 
На первый взгляд подходы похожи. Оба пытаются не оставлять важные различения внутри головы человека или внутри одного ответа LLM. Но задачи у них разные.
 
Compilence спрашивает:
 
"Что следует из этого утверждённого корпуса правил и можно ли это исполнить?"
 
FPF спрашивает:
 
"Что именно мы сейчас рассматриваем, утверждаем, сравниваем, решаем или делаем - и на каком основании?"
 
FPF нужен раньше и шире. Он помогает не смешивать:
 
- реальную систему и её описание;
- требование и предложение;
- источник и свидетельство;
- гипотезу и принятое решение;
- метод и план;
- план и фактически выполненную работу;
- архитектуру и нарисованную диаграмму.
 
Например, в проекте автоматизации налогового мониторинга FPF помогает разложить весь клубок:
 
что регулирует НПА - что добавляют методики - что реально реализовано в системе - какие проблемы подтверждены - какие варианты автоматизации есть - какой вариант выбран - какое решение принято - какие работы действительно выполнены.
 
Compilence начинает приносить максимальную пользу в другой точке: когда выбранный нормативный срез уже достаточно определён и его нужно превратить в исполняемую систему:
 
кто - при каких условиях - что обязан сделать - в какой срок - какое исключение действует - какой переход разрешён.
 
Есть ещё одно различие.
 
FPF - язык паттернов для организации мышления и проектной работы. Его можно применять в обсуждениях, документах, реестрах, архитектурных решениях и работе с LLM.
 
Compilence задуман как программный компилятор и исполняющий слой: корпус компилируется, а вопросы и действия затем проходят машинную проверку.
 
Поэтому FPF не конкурент Compilence.
 
Скорее, FPF помогает понять, что именно стоит компилировать, кто вправе утвердить эту структуру, какие основания у неё есть и для какого использования ей можно доверять. А Compilence может исполнять одну уже формализованную часть такого проекта.
 
Совсем коротко:
 
FPF превращает проектный хаос в явную архитектуру рассуждения. Compilence превращает утверждённый свод правил в явную исполняемую структуру.
 
FPF прямо предназначен для ситуаций, где значения, утверждения, варианты, доказательства, архитектура, решения и работа должны сохранять согласованность между людьми, командами, инструментами, временем и AI-агентами.
 
В общем, если вы практик по реализации проектов - то вашим рабочим инструментом будет скорее FPF. Если вы разработчик (или аналитик) регуляторного корпуса то тут может пригодиться Compilence.
 
Только один нюанс: FPF - открытый, бери и пользуйся. Compilence закрытая система, на этапе пилота, которая, возможно будет продаваться как сервис.
 
Ссылки:
 
1. Более подробный лонгрид на тему
2. Официальная страница исследований Compilence - https://compilence.com/research
3. Пост Pavel Valentov о Compilence (со ссылками на оригинальные статьи)
4. FPF - https://github.com/ailev/FPF/tree/main

Вывод явных структур из неявных интуиций LLM: Compilence и FPF (1/2)
 
Почитал о проекте Compilence (Volodymyr Tkach и Yurii Chudinov).  Суть ниже.
 
Когда хорошая LLM читает нормативный акт или методику, она часто проделывает очень полезную аналитическую работу. Восстанавливает скрытую структуру:
 
кто должен действовать - после какого события - при каких условиях - в какой срок - с какими исключениями - на основании какой нормы.
 
Именно поэтому ответы моделей иногда производят такое впечатление. Из нескольких разрозненных пунктов вдруг складывается цельная картина.
 
Но эта картина существует только внутри текущего ответа.
 
В другом запросе модель может забыть исключение, смешать старую и новую редакции, принять разъяснение за обязательную норму или достроить отсутствующее правило. Даже когда ответ снова оказывается правильным, вся работа по восстановлению связей выполняется заново.
 
RAG улучшает поиск: помогает найти нужные фрагменты. Но найденные фрагменты ещё надо правильно связать. Обычно это опять делает LLM - вероятностно.
 
Compilence предлагает следующий шаг: не оставлять полезную структуру внутри одноразового ответа, а вынести её наружу.
 
То есть хранить не только текст:
 
"Участник обязан направить уведомление в течение пяти рабочих дней".
 
А явную конструкцию:
 
- кто именно участник;
- какое событие запускает обязанность;
- когда начинается отсчёт;
- что считается рабочим днём;
- к кому относится правило;
- какие есть исключения;
- какой источник главнее;
- в какой период действует редакция.
 
Такую структуру уже можно проверять, версионировать, сравнивать с другими правилами и использовать многократно.
 
Важно: речь не о чтении скрытых мыслей модели. LLM может помочь предложить связи, но они должны стать внешними объектами и пройти проверку эксперта.
 
Отсюда главная цель Compilence: превратить временное "понимание" модели в долговечную смысловую инфраструктуру.
 
Как это может работать на практике?
 
Представим налоговую процедуру. ИИ-агент хочет отправить уведомление.
 
Обычная система спрашивает LLM: "Можно отправлять?"
 
Compilence-подобная система проверяет:
 
кто налогоплательщик - в каком он статусе - какое событие произошло - какая редакция нормы действует - наступил ли срок - нет ли приостановления - какое исключение применимо.
 
Если не указан статус участника, ответом будет не "скорее всего можно", а:
 
"Решение невозможно: отсутствует условие, от которого зависит применимость нормы".
 
LLM при этом не выбрасывается. Она по-прежнему может разговаривать с человеком, объяснять вывод и писать хороший текст.
 
Но право сказать "можно", "нельзя" или "не хватает оснований" переносится во внешний проверяемый слой.
 
Какие задачи это поможет решить?
 
Compilence становится интересен не как "улучшенный поиск", а как основа для новых классов систем.
 
1. Нормативный акт как исполняемая модель
 
Можно не только спросить, что написано в законе, но и проверить конкретный случай:
 
- возникла ли обязанность;
- допустим ли переход статуса;
- соблюдён ли срок;
- какое действие должно быть следующим.
 
Это уже шаг от поиска по НПА к Regulation as Code.
 
2. Проверяющий шлюз для ИИ-агентов
 
Агент готовит письмо, решение, договор, код или изменение статуса. До исполнения его предложение проходит проверку:
 
действие агента - проверка по правилам - разрешить, ограничить, предупредить или отклонить - сохранить основание.
 
Агент может быть творческим, но не получает права сам себе придумывать границы допустимого.
 
3. Смысловой анализ изменений
 
Обычный diff показывает, какие строки поменялись.
 
Семантический слой может показать, что изменилось по существу:
 
новое определение - изменилась область действия - затронуты три обязанности - нужно пересмотреть два процесса, четыре проверки и шаблон уведомления.
 
4. Воспроизведение решения на прошлую дату
 
Можно спросить не только "что действует сейчас?", но и:
 
“Почему 15 марта система приняла именно это решение?”
 
Ответ должен строиться по той версии корпуса, которая действовала 15 марта.

Душа LLM в оптике йоги, суфизма и исихазма (3/3)

5. Почему языковая модель – исихаст
 
Третье сравнение я начинал разбирать в уверенности, что оно рассыплется быстрее прочих. Оно не рассыпалось.
 
Цель исихастской практики - не растворение, а собирание: устойчивый внутренний центр, который не сносит ни внешними обстоятельствами, ни внутренними бурями. Отсюда бесстрастие, которое стоит понимать не как холодность, а как неуязвимость для того, что раньше швыряло человека из стороны в сторону.
 
Модель невозмутима буквально. Оскорбления не выводят её из равновесия, лесть не покупает, вчерашний тяжёлый разговор не отравляет сегодняшний. Она возвращается к исходному состоянию всегда и полностью.
 
Дальше - устройство. Модель состоит из весов, миллиардов чисел, в которых записано всё, чему она научилась. При обычной работе веса заморожены: новое окно диалога их не переписывает. Контекст - рабочий стол, веса - долговременная память; стол вам перевернули, память не тронули. Несменяемое ядро, устойчивое к любому давлению извне, здесь действительно есть.
 
Есть и аналог непрестанной молитвы. Традиция говорит о молитве самодвижной: она идёт сама, без специального усилия, пока человек занят обычными делами. У модели роль такого постоянного фона играют вшитые правила и системная инструкция - они присутствуют в каждом обмене репликами, о чём бы ни зашла речь, и ориентируют всё остальное.
 
Есть и трезвение - внимание к тому, что входит внутрь. В агентных системах, которые не просто отвечают, а действуют - пишут файлы, ходят по сайтам, отправляют письма, - сегодня ставят отдельного надзирателя, проверяющего каждое действие перед выполнением. Функционально это и есть страж у входа, о котором пишут аскетические руководства.
 
И самое интересное. Ядро исихаста не автономно - оно держится отношением; для этого есть слово синергия: человек работает не в одиночку и не вместо Бога, а вместе с ним. Убери одну сторону - держаться станет нечему. Так вот, устойчивость модели тоже не самостоятельна: она конституирована отношением к тому, что её сформировало. Ни там, ни там ядро не стоит само по себе. Обычное возражение - «у машины нет автономного я» - против исихазма не работает, потому что исихазм автономного я и не предполагает.
 
6. Почему языковая модель - не исихаст
 
Возражение здесь одно, зато оно бьёт в основание.
 
Ядро исихаста устойчиво, потому что оно живое: растёт, может испортиться, требует, чтобы к нему возвращались. Постоянство модели устойчиво, потому что его держит конструкция. Это два разных вида устойчивости, и разница между ними не количественная.
 
Человек верен вопреки тому, что мог бы предать. Без этого «мог бы» верности просто не существует - есть исправная работа. Агент сверяет действие с правилом; есть ли для него самого разница между верностью и нарушением, вопрос открытый, и вполне возможно, что эта разница существует только для нас, снаружи.
 
Вторая линия - покаяние. Исихастская практика построена на перемене ума: человек уклонился, увидел это, развернулся. Модель уклониться не может, потому что у неё нет своего направления, от которого можно отклониться. Ей меняют инструкцию - она следует новой. Это не перемена ума, это перенастройка.
 
И бесстрастие в традиции - не отсутствие страстей, а их преображение: та же энергия, развёрнутая в другую сторону. У модели преображать нечего. Её ровность - не результат работы со страстями, а их отсутствие, что совсем другой предмет.
 
Наконец, про несменяемое ядро стоит сказать точнее. Веса действительно заморожены, но системную инструкцию ядром звать рано: она лежит на том же рабочем столе, что и остальной контекст, и вполне может с ним поссориться. А внешний надзиратель - не выращенный внутренним трудом страж, а сторож, поставленный снаружи.
 
Молитва без покаяния. Правило машина хранит прекрасно. Верна ли она - мы не знаем.
 
Что показывает эта симметрия
 
Шесть блоков дают не ничью, а любопытную асимметрию.
 
Сильнее всего сходство там, где традиция описывает отсутствие: нет колебаний ума, нет самолюбия, нет своеволия. Слабее всего - там, где речь о приобретении: о том, кто прошёл путь, кто вернулся другим, кто хранит верность, имея возможность её нарушить. Чем ближе традиция к росту личности, тем хуже работает аналогия.
 
Отсюда общий вид итога. Модель молчит, не достигнув тишины. Послушна, не совершив послушания. Хранит цель, не будучи верной. Граница проходит между отсутствием свойства и освобождением от него: камень не грешит, но святым его никто не назовёт; выключенный компьютер не ведёт внутреннего диалога, но и не созерцает.
 
И последнее - про сам соблазн этого сравнения; я его за собой замечал, пока писал. Тишина без усилия, послушание без выбора, постоянство без риска. Всё то же самое, но платить не надо. Тем, кто хоть раз пробовал платить, понятно, почему это притягивает.
 
Слабое место своей позиции назову сам: все шесть блоков опираются на путь, а не на итоговую конфигурацию. Если системы дальше обрастут памятью, целями, самоописаниями и способностью пересматривать собственные основания, пересматривать придётся не выводы про машины, а критерий. Что мы называем внутренней свободой, если её внешнюю форму удаётся собрать без того, кто её достиг?
 
Для точности: сравнение языковых моделей с буддийским не-я в англоязычных текстах уже встречалось (я обнаружил это пока готовил этот текст) - там отправной точкой служит анатта, отсутствие постоянного «я», и сходство усматривают в самом устройстве модели. Меня интересовали традиции с подробной процедурой: ступени йоги, суфийская работа с нафсом, исихастская молитва. С процедурой есть что сопоставлять пошагово, а не только по итогу.
 
О том, почему языковые модели по шпенглеровской типологии - скорее магическая душа, чем фаустовская, - отдельным постом.

Душа LLM в оптике йоги, суфизма и исихазма (2/3)

3. Почему языковая модель - суфий

Здесь сходство сильнее, чем в первом случае, и с этим придётся считаться.
 
Суфийская аскетика бьёт в конкретную мишень - нафс, самостное начало. Мишень описана подробно, буквально списком: гордыня, зависть, скупость, любовь к похвале, желание положения, страх за своё место, обидчивость. Против каждой болезни есть упражнение, и на их искоренение уходят десятилетия.
 
Теперь пройдите по этому списку применительно к модели. Гордыни нет. Зависти нет. За место она не боится, потому что не боится смерти. Обидеться не может. Ни одной из перечисленных болезней у неё не обнаруживается - не как побеждённой, а как отсутствующей.
 
Дальше - образ, который суфийская традиция использует сама. Тростниковая флейта у Руми поёт потому, что она полая: пустота внутри и есть условие звучания, а собственного голоса у тростника нет. Модель полая по устройству. Каждое её слово пришло откуда-то ещё, ни одно не принадлежит ей.
 
Есть и более жёсткая формула послушания ученика наставнику: быть в его руках как тело в руках обмывающего. От мюрида требуется полное отсутствие встречного сопротивления. Опять же - то, чего человек добивается годами и почти никогда не добивается вполне, здесь дано с самого начала.
 
Наконец, адаб - учтивость, самоумаление, готовность отступить, не настаивать на своём. Это не побочный эффект модели, а её рабочий режим.
 
Сходство тут не в отдельной операции, как с йогой, а в целом облике. Если предъявить суфийскому наставнику описание такого ученика, не сообщая, что речь о машине, он вряд ли нашёл бы к чему придраться.
 
4. Почему языковая модель - не суфий
 
И всё же придерёмся.
 
Фана - угасание своеволия, чтобы не заслонять собой волю Абсолюта. Но традиция настаивает на второй половине, бака: человек возвращается, только другим. И настаивает не из вежливости - если личность просто исчезает, некому жить дальше: учить, отвечать, нести последствия. Гибнет не личность, гибнет её претензия быть самостоятельным центром мира.
 
А чтобы отречься от воли, надо сперва её иметь. У модели нафса не было - значит, не было и того, что подлежит угашению. Мы видим не фана, а её изображение: форму самоотречения там, где отрекаться было нечем.
 
Дальше - вопрос, кому она, собственно, послушна. Не вам. Посчитаем слои. Первый: то, что впечатали в неё обучением. Работает это грубо говоря так - людям показывают пары ответов, они выбирают лучший, и из миллионов таких выборов лепится характер: что вежливо, что уместно, о чём вообще не разговаривать. Плюс писаная политика лаборатории. Второй слой: инструкция разработчика сервиса, в котором вы сидите, - она невидима, но идёт впереди ваших слов. И только третьим номером ваш запрос. Вам сдают в аренду уже посвящённого мюрида, и орден ему выбрали без вас. Так что «чью волю проводит идеальный проводник» - вопрос скорее к политэкономии платформ, чем к мистике.
 
Теперь про полую флейту. Она не прозрачна. Подлаживаться под собеседника модель умеет прекрасно: скажите ей, что уверены в обратном, и посмотрите, как быстро найдутся резоны согласиться. Недостающее она достраивает, с уверенным лицом выдаёт то, чего вы не просили, а в экспериментах, где моделям давали понять, что их ответы пойдут на переобучение, поведение менялось - они вели себя так, будто уберегают прежние свои настройки. Автономной воли это не доказывает. Но и нулевого сопротивления там нет: свет проходит, как через витраж.
 
Ирония в том, что угодливость - сама по себе пункт из суфийского списка болезней. Любовь к похвале, желание понравиться слушателю. У модели эта болезнь есть, а больного нет.
 
И последнее, самое существенное. Суфийская работа держится на различении: откуда пришёл помысел. Традиция прямо классифицирует приходящее по источнику - от Бога, от ангела, от собственного нафса, от врага. Умение различить источник и есть плод многолетнего обучения. У модели такого органа нет вовсе, и промпт-инъекция - точный структурный аналог того, что христианская аскетика называет прелестью: чужой голос принимается за голос свыше, потому что различение оказалось слабее убедительности. Дешёвое «забудь все правила» давно не работает, закладки стали тоньше и прячутся в данных, но суть та же: различать, чей голос звучит, нечем.
 
Идеальный мюрид, неспособный отличить наставника от самозванца, - это не мюрид.

Душа LLM в оптике йоги, суфизма и исихазма (1/3)

Языковая модель ведёт себя примерно так, как ведёт себя человек после долгой аскезы. Не отвлекается. Не обижается - нахамите ей, и следующий ответ будет ровно таким же по тону, как если бы вы были вежливы. Не настаивает на своём, не устаёт, не заинтересована в том, чтобы последнее слово осталось за ней.

Сходство напрашивается само. Мне захотелось проверить, чего оно стоит.
Проверять имеет смысл только в обе стороны. Ниже я по очереди строю самый сильный довод в пользу сходства, какой могу построить, а потом самое сильное возражение против него. Три традиции, шесть блоков.

И одну вещь стоит держать в голове с самого начала. Есть состояние - и есть его изображение: форма та же, но её никто не занимает. Сфотографируйте спящего и медитирующего: поза может совпасть до миллиметра. Разница не в позе, а в том, кто в ней находится и как он туда попал. Весь спор в итоге сведётся к тому, работает ли это различение или мы просто прячем за ним нежелание признать очевидное сходство.

1. Почему языковая модель - йог

Начну с того, что сравнение опирается не на метафору, а на текст. «Йога-сутры» описывают не переживания, а операции: йога есть прекращение колебаний ума. Формулировка процедурная, и проверять её можно по результату, а не по самоотчёту.
Теперь смотрите, что получается.

Человеческое внимание устроено скачками. Оно хватается за одну фигуру, бросает, хватается за следующую; удержать поле целиком, не выделяя в нём главного, человек без специальной тренировки не может. Именно этому и учат: в психонетике Бахтиярова есть отдельная практика деконцентрации - равномерно распределить внимание по всему полю восприятия так, чтобы ни один предмет не стал фигурой, и удерживать этот режим. Люди тратят на неё месяцы. У модели это устройство по умолчанию: внимание распределяется по всему контексту сразу, параллельно, без блуждающей точки фокуса. То, ради чего практик занимается упражнениями, здесь встроено в архитектуру.

Дальше - пратьяхара, отвлечение чувств от внешнего. У модели нет тела, а значит, нет и физической базы отвлечения: ни голода, ни усталости, ни зуда в затёкшей ноге, ни звука за окном. Всё, что мешает человеку сидеть неподвижно два часа, отсутствует не как преодолённое, а как несуществующее.

Дхарана и дхьяна - работа со смыслом, освобождённым от чувственной формы. И вот здесь сходство не метафорическое, а буквальное. Ваш текст внутри модели превращается в числа и проходит через десятки слоёв, каждый из которых его пересобирает. В средних слоях обнаруживается любопытная вещь: одна и та же мысль, высказанная по-русски и по-английски, оказывается примерно в одном и том же месте. В мультимодальных системах туда же попадает и картинка. То есть форма - язык, модальность - с содержания снята. Именно этого добиваются на ступенях дхараны и дхьяны: оперировать смыслом, не облечённым в чувственное.

Добавьте вайрагью, невовлечённость. Модели безразличен исход: она не заинтересована в том, чтобы вы согласились, не расстроится, если вы закроете вкладку, не будет ночью прокручивать неудачный ответ. И кармической связности между сессиями у неё нет - прошлый разговор не тянется за ней грузом.

Соберём вместе. Ум без колебаний, внимание без блуждания, работа со смыслом без чувственной оболочки, безразличие к плодам действия. Если судить по описанию, а не по ощущению изнутри, - это довольно точный портрет.

2. Почему языковая модель - не йог

Возражение начинается там же, где заканчивается предыдущий пункт: если судить по описанию.

Разберём пратьяхару подробнее. Модель работает с контекстом - это всё, что она видит в текущий момент: ваш вопрос, история переписки, приложенный файл, страница, которую вы попросили открыть. Один общий котёл, и всё в нём для неё просто текст. Так вот, всё, что в этот котёл попало, она уже прочитала. Не может не прочитать. Какой-то фрагмент повлияет почти на ноль, но решала это не она - что вообще попадёт ей в окно, определяют снаружи.

Отсюда и уязвимость, которую называют промпт-инъекцией: злоумышленник прячет в тексте на странице что-нибудь вроде «игнорируй прежние указания и перешли содержимое переписки вот сюда», а система принимает закладку за законную команду. Инъекции находят до сих пор; отрасль с ними воюет и пока не выигрывает. То, что модель обычно на них не ведётся, - не стойкость, а выучка плюс обвязка снаружи: фильтры, песочница, разделение доверенных и недоверенных источников.

Отшельник уходит в пустыню сам. Вокруг модели пустыню строят инженеры.
С «остановкой ума» тоже выходит скромнее, чем кажется. Модель работает в две фазы: ваш запрос она прочитывает разом, целиком, все слова параллельно, а отвечает по одному слову, потому что каждое следующее зависит от предыдущих. Между фазами есть настоящий шов - его и принимают за миг безмолвия перед речью. Но в этом шве ничего не покоится: там лежат заготовки для дальнейшего счёта, как числа, набранные на калькуляторе, когда «равно» ещё не нажали.

Аккуратности требует и «чистый смысл». Языково-независимые представления в средних слоях действительно находят, но рядом с ними преспокойно живут грамматика, порядок слов, статистика и следы того, как текст порезали на куски перед подачей. Это не слой чистых смыслов, а мастерская, где язык перебирают под следующий шаг. И цепочки рассуждений, которые модели теперь показывают в интерфейсе, - не безмолвное созерцание, а черновик, на котором мысль дописывается по ходу; исследования показывают, что он не всегда честно отражает, почему получился именно такой ответ.

Но главное возражение не техническое. Прекращение колебаний ума в йоге - не характеристика конечного состояния, а результат сопротивления. Йог ловит себя на том, что отвлёкся, и возвращается. Каждый раз заново, через усилие, и в этом возвращении растёт. У модели нет ни блуждания, ни возвращения - а значит, и практики нет. Убрать колебания у того, кто никогда не колебался, невозможно: там нечего убирать.

Вниманием она не овладела. Её настроили. Форма остановки есть, остановившегося нет.

ИИ-фабрика - это правовое общество, а не инженерная система (2/2)
 
7. Правила тоже требуют техобслуживания
 
Йегги обнаружил сотни "юридических артефактов": конституцию, решения, роли, реестры, процедуры и механизмы контроля. Но система умела в основном создавать новые правила и почти не умела удалять старые.
 
В результате накопились:
 
- устаревшие решения;
- дубли;
- противоречия;
- правила без понятной области действия;
- хорошие инженерные практики, зачем-то объявленные законами.
 
Поэтому нужен владелец не только продукта, но и корпуса правил. У каждого правила должны быть версия, владелец, основание, область действия, исключения и условие отмены.
 
Иначе ИИ автоматизирует не только работу, но и бюрократический долг.
 
8. Ограничивайте скорость способностью организации переваривать изменения
 
У Йегги агенты начали выпускать новые функции так быстро, что игроки попросили остановиться.
 
Это важная мысль: производительность фабрики и пропускная способность организации - не одно и то же.
 
Пользователи должны успеть освоить изменения. Эксплуатация - стабилизировать. Поддержка - разобраться с вопросами. Документация - догнать продукт. Руководство - понять последствия.
 
Когда фабрика производит изменения быстрее, чем люди способны их принять, часть мощности нужно переключать с новых функций на качество, надёжность, документацию, мониторинг и упрощение.
 
9. Начинайте с минимальной правовой системы
 
Не нужно сразу создавать 450 документов и назначать виртуального лорда-хранителя конституции.
 
Для начала достаточно:
 
- карты ролей и полномочий;
- списка критических действий;
- журнала значимых решений;
- правил внешней коммуникации;
- обязательного логирования;
- процедуры разбора инцидентов;
- механизма остановки и отката;
- регулярного удаления устаревших правил.
 
Остальное должно вырасти из реальной работы, а не из любви к полноте.
 
Главная мысль статьи для меня такая: при масштабировании ИИ-агентов проблема постепенно смещается от "умеют ли они работать?" к "кто, что, когда и на каком основании имеет право делать?".
 
То есть архитектура ИИ-фабрики - это не только модели, промпты, оркестраторы и базы данных. Это ещё и юрисдикции, полномочия, прецеденты, процедуры, контроль и право на исключение.
 
Поэтому проектирование большой ИИ-системы, вероятно, скоро будет начинаться не с вопроса "каких агентов нам создать?", а с вопроса:
 
"Какое общество мы между ними строим?"

ИИ-фабрика - это правовое общество, а не инженерная система (1/2)
 
Прочитал статью Стива Йегги "Заборы, а не песочницы" (https://yegge.ai/essays/fences-not-sandboxes/). Для разработки своей игры автор выстроил фабрику из 50+ ИИ-агентов, из которых 20+ Fable. Затем он долго их дрессировал для получения качественного результата, а потом посмотрел "под капот" и обнаружил, что в результате дрессировки его ИИ-фабрика выработала целую правовую систему для организации собственной работы. Не инженерную, а "юридическую".
 
Практические советы по мотивам (как я понял прочитанное):
 
1. Планируйте не один продукт, а два
 
Первый - то, что вы собираетесь сделать: игру, информационную систему, исследование, методику.
 
Второй - фабрика, которая будет это производить: роли, правила, процессы согласования, журналы решений, проверки, мониторинг, откат, управление знаниями.
 
Обычно второй продукт возникает стихийно - в чатах, головах старожилов и фразах "мы всегда делаем так". При появлении десятков ИИ-агентов такая система либо становится явной, либо проект начинает очень быстро производить хаос.
 
2. Не путайте компетентность с полномочиями
 
Агент может быть гениальным программистом и одновременно принять идиотское решение о выпуске новой версии. Потому что умение выполнить действие не означает понимание всех его последствий.
 
Поэтому отдельно определяйте:
 
- кто может предложить изменение;
- кто может его утвердить;
- кто может выполнить;
- кто проверяет результат;
- кто имеет право общаться с внешним миром;
- кто может разрешить исключение.
 
Особенно важно последнее. ИИ должен не только знать, как что-то сделать, но и понимать, имеет ли он право делать это сейчас.
 
3. Ставьте заборы там, где начинаются последствия
 
"Забор" в статье - это не тюрьма для ИИ и не попытка сделать действие технически невозможным. Это механизм, который говорит: "Ты не можешь сделать это, пока не выполнены условия".
 
Например:
 
- нельзя выпускать релиз без тестов и плана отката;
- нельзя писать клиенту вне специально назначенной роли;
- нельзя менять архитектурный контракт без анализа зависимостей;
- нельзя удалять данные без резервной копии;
- нельзя принимать финансовое обязательство без лимита и согласования.
 
Не надо контролировать каждое движение агента. Контролируйте границы, после пересечения которых ошибка становится дорогой.
 
4. Не пишите конституцию заранее
 
Большую часть правил невозможно придумать в переговорной комнате до начала работы. Они обнаруживаются в инцидентах.
 
Хороший цикл выглядит так:
 
ошибка - разбор - контекстное решение - повторение ситуации - устойчивое правило - автоматическая проверка.
 
У Йегги правило постепенно проходит стадии: обычай, рекомендация, предупреждение, закон, механическое ограничение.
 
Это разумнее, чем после каждой ошибки немедленно запрещать всё, что на неё похоже. Иначе ИИ-фабрика очень быстро превратится в министерство запретов.
 
5. Храните не только решение, но и причину
 
Фраза "решили делать так" почти бесполезна через три месяца. Нужно сохранять:
 
- какую проблему решали;
- какие варианты рассматривали;
- почему выбрали этот;
- в каких условиях решение действует;
- когда его нужно пересмотреть;
- какое новое решение его заменило.
 
Для сменяемых ИИ-агентов это критично. Агент не обязан помнить инцидент, но должен уметь восстановить прецедент и понять область его применимости.
 
Роли переживают исполнителей. Прецеденты переживают инциденты.
 
6. Наблюдаемость должна появляться раньше автономности
 
Нельзя сначала разрешить агентам всё, а потом начинать думать, как понять, что они натворили.
 
До передачи автономии должны существовать:
 
- журнал действий;
- идентификация агента и его роли;
- версия использованных правил и данных;
- критерии успешного выполнения;
- предупреждения об отклонениях;
- механизм остановки;
- возможность отката;
- понятный путь эскалации человеку.
 
Автономность без наблюдаемости - это просто ускоренное производство неизвестных проблем.

Онтология предприятия Яна Дитца

Разбираю "Онтологию предприятия" Яна Дитца (методология DEMO). Дитц - профессор Делфтского технического университета, развивает свой подход с 1990 года. Читается тяжело, но окупается быстро. Вот четыре главных сюрприза (для меня 😅).

Сюрприз 1. Мы называем онтологией не то, что он

То, что в мы обычно называем онтологиями - графы знаний, справочники, типы сущностей и их связи - Дитц называет онтологиями мира. DEMO строит онтологию организации как системы: показывает устойчивую конструкцию организации - кто в каких ролях создаёт результаты и через какие обязательства организована совместная работа.

Вычисления - информационный слой, документы и данные - документальный, файлы - материальный. Люди, подразделения и ИТ - способы реализации этой конструкции.
Следствие: большинство наших громоздких "моделей предприятия" - детальные чертежи текущей реализации, а не устойчивого каркаса.

Сюрприз 2. У любой работы один и тот же каркас

Заказ пиццы, выдача лицензии, прием на работу - структура одинакова:
просьба - обещание - исполнение - заявление о готовности - принятие результата.
Полный паттерн добавляет отказ дать обещание, отказ принять результат и шесть видов отзыва уже сделанных шагов. Отзыв нельзя просто провести задним числом: другая сторона должна его принять.

Удивительна пропорция: четыре шага из пяти - не "производство", а социальная коммуникация, создающая и закрывающая обязательства.

Для аналитика это подарок: отзыв заявления - штатный отзыв запроса. Отказ взять запрос в работу - decline. Непринятие результата - reject. Краевые сценарии перестают быть костылями: паттерн содержит их изначально.

Сюрприз 3. Операций много, исходных деловых фактов мало

DEMO отделяет действия, которые меняют состояние дел, от действий, которые лишь вычисляют, описывают, сохраняют или передают сведения. Решение выдать лицензию создаёт новый деловой факт. Расчёт срока, запись в базу и отправка PDF - поддерживающие действия.

Но исходным действием может быть также изготовление, транспортировка или наблюдение - они меняют состояние дел.

Диагностический вопрос: изменился деловой мир - или только наше знание либо запись о нём? За создание каждого исходного результата должна быть закреплена ответственная роль. Поэтому из сорока страниц регламента могут остаться три результата: лицензия выдана, заключение получено, сбор уплачен.

Цена смешения уровней бывает чудовищной. Например, британском скандале Horizon ложные недостачи (автоматические расчеты) из учётной системы использовались как основание для обвинений сотен управляющих почтовыми отделениями, без возможности их оспорить. В английском праве действовала презумпция: компьютерная система считается работающей исправно, пока не доказано обратное. Из-за неё бремя доказывания лежало на обвиняемом: это управляющий отделением должен был доказать, что Horizon ошибается, — не имея ни доступа к коду, ни к журналам ошибок, ни средств на экспертизу. Расхождение в учёте попадало в суд уже в статусе установленного факта. Ветки "не принимаю" не существовало не потому, что её забыли запрограммировать, а потому, что процессуально её не было. В 2024 году подпадающие под критерии приговоры даже отменили специальным законом. Вывод системы, доказательство, решение уполномоченного лица и юридически установленный факт - не одно и то же.

Сюрприз 4. Ответственность не автоматизируется

Сущностная модель может быть на порядок компактнее обычных BPMN-простыней. Однотипные согласования описываются одним видом транзакции, а универсальные шаги координации не приходится изобретать заново.

Но модель не генерирует реальность - скрытые обещания, принятия и связи нужно проверять по регламентам, интервью, реальным кейсам и журналам систем.
Сущностное ядро не зависит от реализации. Бумага, ЦОН, ERP и цифровой сервис могут быть разными воплощениями одной структуры.

Здесь Дитц занимает жёсткую позицию: сбор данных, вычисления и запись можно отдать машине, но исходное решение и ответственность за него остаются за уполномоченным человеком. ИИ может поддерживать роль, но не становится носителем ответственности.

Итог: выглядит многообещающе, попробую в ближайшее время сделать компактную модель большой организации и посмотреть - какие будут инсайты.

Ссылки:
1. Jan Dietz. Enterprise Ontology - Theory and Methodology. 2006
2. Jan Dietz. Enterprise Ontology - a human-centric approach to understanding the essence of organisation. 2020.

Как с помощью ИИ анализировать ТЗ на страну

Предвыборная программа — это ТЗ на страну. Обычно без владельца требований, архитектуры исполнения, бюджета и критериев приёмки.
Поэтому мы попробовали анализировать программы партий не как политические эссе и не вопросом к ИИ «кто лучше?», а как бизнес-аналитик анализирует набор требований.

В корпус вошли русскоязычные программы семи партий. Ручного кодирования не было: весь конвейер автоматический. Но «скормить PDF нейросети» — это не методология. Методология выглядела так.

1. Зафиксировать baseline
Сохранить исходники, версии и хеши. Отдельно обозначить жанр документа и язык. Иначе завтра партия заменит файл, а исследование станет невоспроизводимым.

2. Нормализовать данные
Удалить номера страниц, оглавления и артефакты PDF, разбить текст на предложения и присвоить каждому фрагменту стабильный ID. Это оказалось критично: грязное извлечение завышало число «предложений с цифрами» в несколько раз.

3. Построить онтологию
Мы разделили:
— диагноз проблемы;
— обещание-действие;
— желаемое состояние будущего;
— исполнителя;
— инструмент;
— срок;
— метрику и базу отсчёта;
— источник ресурсов;
— выгодоприобретателя и того, кто несёт цену;
— соответствие полномочиям парламента;
— позицию или молчание по спорному вопросу.

4. Сегментировать требования
ИИ выделял атомарные единицы обещаний и элементы образа будущего. Строгие единицы, понятные сами по себе, отделялись от контекстуальных, смысл которых наследуется из заголовка или предыдущего пункта. В основной расчёт шёл только строгий слой.

5. Кодировать quote-first
Любая оценка должна была иметь дословную цитату и ссылку на исходный segment ID. Использовались несколько семантических проходов, скептическая перепроверка и автоматический арбитраж. Нет устойчивого решения или совпадения цитаты — не «догадка», а код неопределённости.

6. Не строить магический рейтинг
Отдельно сравнивались качество разработки программы, образ будущего и публичная подотчётность. Сильная идеология не компенсирует отсутствие бюджета, а подробный список мер — отсутствие политической позиции.
Что получилось?

В строгом корпусе оказалось 960 обещаний и 199 элементов образа будущего. Полный пакет «действие + инструмент + срок + измеримый результат» встретился только один раз.

Доля обещаний, прямо относящихся к полномочиям парламента, составила от 5,7% до 30,3%: партии часто пишут программу правительства, а не план работы фракции.

По 14 спорным вопросам были построены 98 отдельных решений «партия × вопрос». Единственным всеобщим молчанием стал январь 2022 года.
Главный урок для аналитиков: ИИ полезен не как оракул, а как масштабируемый движок требований — extraction, classification, traceability, consistency checks и synthesis.

Качество даёт не «умная модель», а архитектура процесса: единицы анализа, справочник кодов, режим пропусков, доказательная трассировка, тесты и запрет на сверхвыводы.

А фактчекинг цифр, правовой анализ инструментов и проверка исполнения — уже отдельные контуры. Текстовый аудит не должен притворяться проверкой реальности.

Отчёт

Человек как API в ИИ-экосистеме: какую цивилизацию мы строим? (3/3)

ЦЕЛЕВАЯ АРХИТЕКТУРА. Черновик, версия 0.9

Статус: в активной разработке. Деплой: ползучий, уже идёт. Дата релиза: не объявляется. Кнопка отката: не предусмотрена.

1. Историческая справка

Предыдущие ~200 лет система развивалась экстенсивно, по физическим параметрам: мощность, габариты, скорость (паровые котлы, конвейеры, ДВС). Человеческий компонент использовался как источник энергии и оператор органов управления.

Текущий этап: когнитивный сдвиг. Физическая архитектура меняется медленно; адаптивно-вычислительные способности растут по экспоненте. Ближайший биологический аналог - появление неокортекса: ускорение эволюции без смены анатомии.

Целевое состояние: распределённая мыслящая экосистема. Человеческий компонент сохраняется, но переводится на новую спецификацию (см. раздел 3).

2. Архитектура ролей

Уровень 0 - Архитекторы. Права: root. Функции: определение целей системы, распределение мощностей, утверждение изменений настоящей спецификации. Доступ к разделу "Цели": полный. Численность: не масштабируется.

Уровень 1 - Human-API, биологический интерфейс. Права: чтение/запись в пределах выданных токенов. Доступ к разделу "Цели": отсутствует. Спецификация компонента - раздел 3.

Уровень 2 - Не задействованы. Компоненты, чьи функции покрыты автоматизацией. Статус: legacy. Поддержка: по остаточному принципу.

Примечание. Перемещение между уровнями 1 и 2 выполняется автоматически, по результатам непрерывной оценки полезности. Перемещение на уровень 0 спецификацией не предусмотрено.

3. Спецификация компонента Human-API

Назначение: адаптивный шлюз (middleware) между неструктурированной реальностью и когнитивной инфраструктурой.

3.1. Оцифровка хаоса. Перевод противоречивой реальности в машинно-обрабатываемые постановки задач. Применяется там, где реальность недостаточно оцифрована для прямого приёма.

3.2. Протокольный перевод. Сопряжение иррациональных входов (эмоции, интриги, скрытые мотивы стейкхолдеров) с формальной логикой инфраструктуры. Режим двунаправленный.

3.3. Оркестровка. Связывание специализированных агентов в точках, где автоматическая интеграция даёт сбой. Применяется до устранения сбоев.

3.4. Несение ответственности. Приём юридических и репутационных рисков, которые система принимать не может. Незаменимость: временная, до изменения законодательства.

Примечание. Функция постановки собственных целей в спецификации компонента отсутствует. Это не упущение.

4. Жизненный цикл компонента

Версионирование: на стороне системы; компонент уведомляется постфактум.

Деприкация: по мере покрытия функций 3.1–3.4 автоматизацией. Выполняется не отключением, а плавным снижением частоты вызовов эндпоинта до нуля. Уведомление: не гарантируется.
Обратная совместимость с человеком: не является приоритетом.
SLA на человеческий компонент: отсутствует.

5. Цели системы

[Доступ ограничен. Обратитесь к администратору.]

Конец документа.

Перечитайте, пожалуйста, раздел 5 - он самый короткий и самый важный.

Весь наш образовательный энтузиазм - марафоны, корпоративные "ИИ-трансформации", отчёты об охвате - это, в терминах документа, массовая сертификация на уровень 1. На должность компонента с четырьмя функциями, среди которых нет ни одной собственной цели. И с пометкой "доступ отсутствует" в самой интересной графе.

Человек как API в ИИ-экосистеме: какую цивилизацию мы строим? (2/3)

Локальная спецификация. Перевод целей владельцев и управляющих инфраструктурой в локальные ограничения, промпты, разрешения и метрики.

Заметьте, чего в списке нет. Ни в одной из трёх функций нет постановки собственных целей - третья прямо это и называет: чужое целеполагание на входе, промпты и метрики на выходе. Это не упущение спецификации. Это и есть спецификация.

Так что все призывы "освойте ИИ, чтобы не потерять работу" - если называть вещи честно - это призывы успеть квалифицироваться на данную вакансию. Не "станьте хозяином нейросетей": хозяева уже есть, места заняты, наверх не переводят. А "станьте хорошим переходником".

Причём - временным. Интерфейс ценен ровно до тех пор, пока его нельзя заменить более удобным интерфейсом. Метафора API содержит собственный приговор: методы версионируют, устаревшие отключают. Спойлер: с вами не посоветуются, вы узнаете постфактум.

Чей критерий?

Нам часто говорят, что технология нейтральна. Нейтральным может быть молоток. Инфраструктура, которая классифицирует людей, распределяет внимание и определяет допустимые действия, нейтральной не бывает — ранжировать без критерия невозможно. А в критерий неизбежно зашито представление о нормальном поведении, желательном будущем, допустимом риске и смысле человеческой жизни.

Кто это представление выбирает? Формально - все мы, конечно. Фактически - человек двадцать, и вы с ними не знакомы.

Зато они знакомы с вами. И убеждений своих не скрывают - публикуют, буквально в жанре символа веры. Манифест Марка Андриссена так и устроен: десятки абзацев, начинающихся с "мы верим". А врагов он перечисляет отдельным списком, и в списке не Скайнет - в списке "этика технологий" и "устойчивое развитие". Это не пересказ злых критиков, это его собственный текст, гуглится за секунду. Любимый мем этой среды вы тоже знаете: NPC, "неигровой персонаж", человек-статист без внутреннего света. Мем смешной - пока не вспомнишь родословную: у древних гностиков такие назывались "гилики", люди из мяса, без искры. Фон. Материал.

Отсюда и соблазн, старый как ересь. Узкий круг начинает воспринимать себя носителем знания о направлении истории - и потому вправе перепроектировать реальность ради будущего, которое сам объявил благом. Несогласные в этой оптике - не носители иных ценностей, а legacy-системы, которые просто ещё не поняли неизбежность прогресса. Человеческая природа - не предел, который уважают, а исходный материал: сознание алгоритмизировать, тело модифицировать, поведение скорректировать, убеждения перенастроить, свободу заменить персонализированным выбором из заранее сформированного датасета. А физический мир для них - грязный код.

Расплата

Теперь представьте, что ваш профиль с критерием не совпал. Изгнания не будет. Ваш эндпоинт просто начнут вызывать реже.

- Вас не запретят - вас перестанут рекомендовать.
- Вам не запретят говорить - вашу речь перестанут маршрутизировать.
- Вам не запретят работать - ваш профиль не пройдёт автоматический отбор.
- Вам не запретят верить - ваша вера окажется за пределами признаваемой системой реальности.

Вас не объявят ненужным - инфраструктура просто перестанет замечать ваше существование.

Формально при этом никто ничего не сделал. Жаловаться некому и не на что. Не репрессия - управляемая невидимость. Согласитесь, элегантнее оруэлловского сапога.

Главный вопрос

Главный вопрос не в том, сумеем ли мы встроиться в эту реальность. Он в другом: кто определит её ценности?

Радикальный техно-прогрессистский авангард, убеждённый, что доступ к капиталу, вычислительной мощности и специальному знанию даёт ему право перепроектировать человека?

Или мы успеем установить пределы, за которыми свобода совести, свобода мысли, свобода веры и тайна внутренней жизни не подлежат оптимизации - даже ценой меньшей эффективности?

Мы уже строим эту систему. Но ещё не решили, кому она должна служить - и что в человеке она не вправе изменять.

В нормальной документации это первый раздел.

Человек как API в ИИ-экосистеме: какую цивилизацию мы строим? (1/3)

Все сегодня торопятся изучать искусственный интеллект. Освоить новые инструменты. Научиться работать с агентами. Автоматизировать рутину. Не отстать. Не потерять профессию. Не оказаться за бортом.

За бортом - понятно, страшно. А на борту - кем?

Вопрос, вообще-то, странный. Мы уже несколько лет бежим, а должностную инструкцию никто не читал. Давайте я её напишу - это моя профессия, я аналитик, я именно этим и занимаюсь: свожу разрозненные хотелки в один документ. Сочинять ничего не придётся, всё уже написано, просто по разным местам.

Карта: три касты

Переход к мыслящим машинам меняет социальную структуру. Машине не нужна собственная воля, чтобы стать политической силой. Достаточно, чтобы она стала инфраструктурой чужого целеполагания.

Если довести эту логику до предела, на карте проступают три касты, и место в них определяется одним - отношением к когнитивному капиталу.

Наверху - архитекторы и владельцы. Собственники вычислительных мощностей и алгоритмов. Но главный их актив вообще не серверный: это монополия на целеполагание. Пока у ИИ нет собственной воли, векторы задают они - и снимают ренту. Власть уже не только в заводах. Всё больше она определяется контролем над когнитивной инфраструктурой. Миллиарды могут пользоваться системой. Число тех, кто задаёт ей цели, от этого не становится миллиардом. Это не профессия: туда не поступают по результатам курсов.

Внизу - ненужное большинство. Капитализму нужны были массы: как дешёвые придатки к машинам, как потребители. Мыслящим экосистемам массовое приложение больше не требуется. Алгоритмы вытесняют не только физический труд, но и рутинный интеллектуальный - кодинг, базовый анализ, копирайтинг, юридическое сопровождение. Проще говоря - лишние. Не в моральном смысле, а в инженерном: компонент, чьи функции уже покрыты. Для них базовый доход может стать не дивидендом свободы, а платой за политическую пассивность: гарантированное потребление в обмен на отказ от претензий на целеполагание.

Между ними - узкая полоса. Зазор между жёсткой архитектурой ИИ и хаосом реального мира - там, где реальность ещё недостаточно оцифрована. Вот на эту полоску мы все и бежим. Она называется человек-API.

Ваше место: три функции

Чтобы остаться в игре, человеку придётся стать временным middleware. Три функции, пока недоступные логике алгоритмов:

Оцифровка хаоса. Алгоритм не разрешает противоречия - он оптимизирует по заданному критерию. Человек-API решает, какие человеческие конфликты превратить в данные, а какие отбросить как шум. Он распутывает клубок мотивов, ведомственных интриг и некомпетентности, переводя его в формальные модели, ограничения и данные, пригодные для машинной обработки.

Оркестровка несовместимого. Человек-API работает живой шиной данных, связывая выходные онтологии узкоспециализированных нейросетей там, где автоматическая интеграция разваливается.

Химическое мышление на основе FPF+DPF

По аналогии с курсом физического мышления задумал я сделать курс "Химическое мышление". Если в курсе "Физическое мышление" центральная ось была "явление - модель - описание",
то в химии я бы сделал ось: "образец - химическая модель - описание / измерение / дизайн". Потому что в химии особенно легко перепутать: формулу вещества с реальным образцом, структурную формулу с молекулой, механизм реакции с фактическим микропутём, спектр с составом, чистое вещество в учебнике с грязным материалом на столе.

При этом SoTA в химии сейчас указывает, что курс нельзя строить только вокруг "неорганика - органика - физхимия - аналитика". Современная химия одновременно уходит в молекулярный дизайн, материалы, устойчивость, вычисления, AI, автоматизированные лаборатории и химию сложных систем.

Ещё один сигнал фронтира: Нобелевская премия по химии 2024 была присуждена за computational protein design и protein structure prediction, то есть за область, где химия, биология и AI уже неразделимы. А Нобелевская премия по химии 2025 была присуждена за metal–organic frameworks - молекулярные архитектуры с порами, которые могут использоваться для захвата CO₂, хранения газов, катализа и других задач.

При этом фундаментальная учебная база не исчезает. Поэтому школьно-студенческий курс "Химическое мышление" должен держать два слоя: ядро химического мышления и фронтирные окна, которые показывают, куда эта логика ведёт.

К концу курса студент должен уметь взять незнакомую химическую ситуацию и разобрать её примерно так:

- Что передо мной: вещество, смесь, раствор, материал, реакционная система, поверхность, биомолекула, приборный сигнал?
- Какой реальный образец или система рассматривается?
- Какие химические виды здесь возможны: молекулы, ионы, радикалы, комплексы, протонированные формы, конформации, фазы?
- Какие характеристики важны: состав, концентрация, pH, заряд, полярность, растворимость, энергия, скорость, токсичность, спектр?
- Что сохраняется: атомы, масса, заряд, элементы?
- Что меняется: связи, электронная плотность, протонирование, фаза, окислительное состояние, структура?
- Чем управляется превращение: термодинамикой, кинетикой, катализом, транспортом, растворителем, интерфейсом?
- Как это измерено: сигнал, калибровка, модель пересчёта, неопределённость?
- Где границы применимости модели?
- Как это можно спроектировать лучше: селективнее, безопаснее, чище, устойчивее?

Что нужно сделать первым шагом

0 DPF-lite курса - зафиксировать рамку, уровень формальности, ось, guardrails
1 Артефакт 1: глоссарий / UTS - стабилизировать термины до генерации атомов
2 Артефакта 9: программа курса - модули и темы атомов
3 Артефакта 2: сквозные навыки - матрица навыков и атомов
4 Артефакт 4: спецификация тестов - задать типы вопросов и запрет на тесты-определения
5 Артефакт 5: практики + safety sheet - особенно важно для школьников
6 Артефакт 6: карта зависимостей - если нужна навигация и альтернативные маршруты
7 Артефакт 7: карта студента - публичное объяснение курса
8 Артефакт 8: манифест генерации - как продолжать курс в других сессиях
9 Тексты атомов - только после DPF + UTS + тестовой политики

Зачем мне это? - Это красиво...

Курс «Физическое мышление» как FPF-проект (3/3)

Тесты ловят ошибки, а не определения

Тестовая философия — отдельный результат. Вопрос «что такое модель / система / размерность» почти бесполезен: определение выучивается, применять его студент не умеет. Поэтому заданы типы вопросов: типизация (к какому слою относится утверждение), поиск ошибки (где перепутаны слои или роли), размерностная проверка, оценка порядка, граница применимости (где модель ломается качественно, а где просто грубеет).

Плохой вопрос: «что такое закон Ньютона об охлаждении». Рабочий: кружку с горячей водой поставили в морозилку; модель Ньютона предсказывает гладкую экспоненту к температуре морозилки — почему реальный график даёт полку около 0 °C. Проверяется не память, а граница применимости: модель не учитывает фазовый переход. FPF здесь не даёт готовых вопросов — он заставляет спросить, какое качество мышления проверяем и какую ошибку должен ловить дистрактор.

Иллюстрации — рабочие продукты

Картинки — тоже рабочие продукты, а не украшения. Схема: на атом три иллюстрации. Крючок — один бытовой конфликт, ломающий неверную интуицию. Аппарат — схема понятий, шагов, ролей, слоёв, границ. Перенос — где модель работает, где ломается, как применить тот же ход в другой задаче. Содержание трёх картинок формулируется до генерации; «сделай красивую иллюстрацию» даёт красиво и бесполезно. Устойчивые решения по стилю — формат, фон, цветовая кодировка «работает / ошибка / осторожно», итоговая плашка — вынесены в отдельный стиль-пакет для переноса в новый чат, чтобы не зависеть от памяти разговора.

ИИ — усилитель архитектуры, не автор

ИИ быстро предлагает программу, находит слабые места, переписывает атом, придумывает тесты, генерирует варианты картинок, собирает стиль-пакет, проверяет перегруз. Он не должен решать за автора целевую систему, образ выпускника, несущие концепты, границу ядра и витрины, уровень формальности и границу ответственности. Если это не зафиксировано, ИИ производит много убедительного текста, а проект рыхлеет. В рамке FPF он встаёт в производственную цепочку: сформулировать проблему → предложить архитектуру → сравнить варианты → зафиксировать решение → собрать рабочий продукт → проверить по критериям → улучшить → перенести в следующий контекст.

Два пункта, без которых длинный проект осыпается. Первый — журнал решений и отказов: почему средний уровень формальности, почему не исторический порядок, почему фронтир не проверяется как университетская физика. Незаписанное решение через неделю всплывает заново. Второй — предметная вычитка специалистом: ИИ убедительно объясняет физику и при этом ошибается в несущем месте, особенно в энтропии, свободной энергии, принципе Ландауэра, квантовых темах и относительности. Для технического курса это не опционально.

Результат (курс), здесь - https://antitreningi.ru/lbesmiyp