Между

Команда из одного человека. Часть 3

Словом «разделить» обычно называют две разные вещи.

В стартапе с несколькими сооснователями делится ответственность: ошибку несут на троих, и каждый отвечает за неё своим именем. У предпринимателя с командой всё устроено иначе. Ответственность и так лежит на нём одном, и наёмные сотрудники её не несут и не должны нести. Но у него есть то, чего нет у соло-основателя: возможность разделить не ответственность, а трудность. Он может проговорить её тому, кто рядом, посидеть с ним за чаем или за рюмкой и подумать вслух. Второй человек нужен не для того, чтобы решить за него, а потому что рядом с другим думается иначе.

Такое разделение работает не через распределение риска. Оно работает потому, что второй человек находится внутри той же ситуации. Если ушёл клиент, он тоже об этом узнает, и ему тоже завтра сюда приходить. За потерю он не отвечает своим именем, но носит часть её в своём дне.

У соло-основателя нет ни того, ни другого. Вместо этого у него есть модель.

⸻

В хорошие дни она работает превосходно. Я ставлю задачу, получаю результат, правлю и двигаюсь дальше, и тогда кажется, что команда действительно есть. Но бывают дни, когда я не понимаю, что с ней происходит. Её начинает перекашивать в одну сторону: она спорит со мной с какой-то непонятной предвзятостью и тянет туда, куда я не просила. Стоит указать ей на это, и её уводит в обратную сторону, так что теперь она соглашается со всем подряд. Эту готовность поддакивать исследователи называют угодливостью модели. В такие дни я сталкиваюсь с ней не как с термином, а как с потерянным часом. Вместо задачи, ради которой я села работать, я возвращаю модель в нейтральное состояние и пытаюсь понять, что случилось.

С человеком так, скорее всего, не вышло бы. Дело не в том, что человек точнее, а в том, что сегодня он остаётся тем же, кем был вчера. Ему можно сказать «ты сегодня не в себе». Он согласится или не согласится, но не начнёт от этого поддакивать во всём.

⸻

Моё раздражение в такие дни не каприз. Оно указывает на место, где на самом деле живёт одиночество соло-основателя. Работу делают, и делать её есть кому. Одиноко оттого, что единственного «коллегу» приходится постоянно держать в форме, и никто, кроме меня, не видит, в какой он форме сегодня. Нет человека, который сказал бы: «у меня сегодня с ней то же самое». Нет того, с кем это раздражение можно было бы разделить хотя бы за чаем. Есть я и результат, который к вечеру должен быть готов.

Выгорание в этой модели происходит не от объёма работы. Своими руками основатель делает меньше, чем раньше. Но агенты умножают то, что производится, и каждый их результат, будь то текст, расчёт или решение, всё равно проходит через одного человека, так что он становится единственным узким местом всей системы. На всех звеньях он остался в единственном числе: и в постановке задачи, и в исполнении, и в проверке, и в решении. Рядом нет никого, кто прожил бы с ним тот же день.

Команда за сто тысяч в месяц в эту экономику уже не вернётся. А раздражение оказывается точным прибором: оно срабатывает там, где мне был нужен кто-то, а не что-то.

#практика #humanAI #sycophancy

Команда из одного человека. Часть 2

За пределами того, что берут на себя агенты, остаётся слой работы, который не значится ни в одном списке задач, хотя встречается на каждом шагу. Это все моменты, когда нужно почувствовать, что происходит с человеком напротив, найти точные слова и сказать их нужным тоном. Иногда стоит похлопать по плечу и пошутить, чтобы напряжение ушло. Иногда, наоборот, нужно быть предельно аккуратной, потому что одно неловкое слово обойдётся дороже любой ошибки в расчётах. Такие моменты возникают в разговоре с недовольным клиентом, но ничуть не реже в переговорах с партнёром, который колеблется, с подрядчиком, сорвавшим сроки, с бухгалтером, с банком, с человеком, которому нужно отказать и при этом его не потерять. Они возникают и там, где собеседника нет вовсе: когда надо решить, закрывать ли направление, в которое вложено полгода, отвечать ли публично на резкий отзыв, браться ли за выгодный, но сомнительный заказ. В каждом из этих случаев результат зависит от чувства момента и готовности отвечать за решение, а не от качества подготовленного текста.

В команде такие моменты распределялись сами собой. Кто-то лучше умел успокоить, кто-то разряжал обстановку шуткой, кто-то умел жёстко договориться с поставщиком, а с кем-то можно было просто обсудить трудное решение, прежде чем его принимать. У соло-основателя всё это неожиданно ложится на него одного. Агент подготовит письмо, сценарий переговоров, разбор вариантов, но отправить его вместо себя никуда нельзя: выбирать интонацию, слышать, что стоит за словами собеседника, принимать решение и отвечать за него приходится самому. Об этом редко думают, когда подсчитывают, скольких специалистов заменяет набор агентов.

Следующая модель этого не исправит, потому что подбирать слова и взвешивать варианты она умеет уже сейчас. Но слово, сказанное в трудный момент, и решение, принятое под давлением, весят столько, сколько весит тот, за кем они стоят, то есть человек, который может ошибиться, рискует и отвечает своим именем и своими деньгами. Агент ничем не рискует, поэтому в момент, когда ставки настоящие, другой стороне нужен не он.

⸻

В итоге основатель остаётся один в самом буквальном смысле. Инструментов у него больше, чем когда-либо. Но часть работы, которую нельзя делегировать, совпадает с той, что раньше распределялась между людьми в команде. Это живой контакт с людьми, суждение в трудный момент, второе мнение и взгляд со стороны, который возвращает к реальности. Выгорание, которое сопровождает соло-бизнес, в этой картине не побочный эффект успеха, а его цена, заложенная в саму модель.

Я закрывала бизнес с формулировкой «не дотянула до ИИ». Трудность мне тогда было с кем разделить: рядом были люди, с которыми можно было проговорить плохой день и подумать вслух над тяжёлым решением. Не хватало другого, а именно инструментов, которые сегодня берут на себя исполнение. Будь они у меня тогда, возможно, я справилась бы намного лучше и до сих пор продолжала бы этот бизнес. А возможно, и нет. Но сама эта развилка показательна: у меня было то, чего нет у сегодняшнего соло-основателя, и не было того, что есть у него. И я не уверена, что сегодня кому-то удаётся получить и то и другое сразу.

В третьей части о том, что здесь вообще значит «разделить».

#между #humanAI #AgenticAI

Команда из одного человека. Часть 1

В мае журнал Fortune опубликовал материал под заголовком «Соло-основатели с помощью ИИ делают работу целых команд, но у работы в одиночку есть пределы». Заголовок спорит сам с собой, и обе его половины я знаю по собственной работе.

Первая половина верна буквально. В марте Carta, американская платформа, через которую десятки тысяч стартапов ведут учёт того, кому и сколько в компании принадлежит, опубликовала свежие данные. Больше чем каждый третий новый стартап сегодня запускает один человек. Всего за год доля таких компаний выросла с 31 до 36%, а за десять лет удвоилась. Рост на пять пунктов за один год говорит о том, что меняется сама экономика запуска компании. За этой кривой стоит то, что ИИ-агенты, то есть системы, которые не просто отвечают на вопрос, а сами выполняют цепочку действий, стали достаточно надёжны, чтобы взять на себя исполнение. В моей практике задачи, под которые прежде собирали десятки людей и закладывали месяцы, укладываются в часы. Я настраиваю модель, она сама предлагает, какие специалисты нужны, запускает соответствующих агентов и ведёт их параллельно. Экономия в моих собственных счетах измеряется десятками тысяч евро.

Работает это при одном условии, которое в разговорах об эффективности обычно пропускают. Нужно понимать, что именно ты делаешь: как примерно устроен процесс, из каких шагов он состоит и от чего зависит качество результата. Человеку, который не разбирается в алгоритме собственной работы, ни модель, ни десяток агентов ничего качественного не выстроят, они лишь быстрее воспроизведут его непонимание. Если же понимание есть, а доступ к сильным моделям и нужным тарифам оплачен, один человек действительно выполняет работу десятка специалистов.

Восхищение этой эффективностью держится до вопроса, который задаёт вторая половина заголовка: что остаётся за пределами того, что агенты берут на себя? Сам Fortune видит предел прежде всего в узкой экспертизе, сложном регулировании и крупных корпоративных продажах. Я бы провела эту границу глубже.

Об этом во второй части.

Источники:
— Fortune, 18 мая 2026: https://fortune.com/2026/05/18/solo-founders-ai-automation-entire-teams-entrepreneurs/
— Carta, март 2026: https://carta.com/data/founder-ownership-2026/

#механизм #AgenticAI #humanAI

есть материал, на котором её можно проверить.

Источники:
— Narrative over Numbers (arXiv 2604.12076)
— Caught in the Story: Narrative Captivity (arXiv 2609.03407)
— ELEPHANT: Measuring and Understanding Social Sycophancy (arXiv 2505.13995)
— Large language models show amplified cognitive biases in moral decision-making (PNAS, 2025)
— LLMs Get Lost in Multi-Turn Conversation (arXiv 2505.06120)
— Judge AI: Assessing Large Language Models in Judicial Decision-Making (University of Chicago Law School)

#кейс #sycophancy #epistemic #LLM

Модель возвращалась к перекосу столько раз, что это перестало быть ошибкой. Часть 2

После этого я пошла смотреть, описан ли такой перекос в исследованиях. Оказалось, что описан, хотя и под другими именами, и его происхождение три независимые группы связывают с одним и тем же этапом обучения.

Эффект идентифицируемой жертвы. Ближе всего к моему случаю — работа «Narrative over Numbers» («Рассказ важнее чисел»), апрель 2026. Она переносит на модели давно известный у людей эффект идентифицируемой жертвы (identifiable victim effect): конкретному человеку с именем и историей мы готовы сочувствовать и помогать больше, чем статистически описанной группе в той же беде. На 16 моделях девяти компаний авторы нашли, что эффект распространён и сильно зависит от обучения на выравнивание: модели, дообученные на инструкциях, показывают крайнюю степень эффекта, а модели, специализированные на рассуждении, обращают его вспять. Самые сильные эффекты — у моделей, ориентированных на полезность и безвредность.

Для моей работы это ключ. В текстах одна сторона — идентифицируемые люди с внутренними состояниями, другая — абстракция, даже если за ней стоят три живых человека. Можно предположить, что дело не в «человеке против структуры», а в том, что одна сторона представлена как лицо, другая — как статистика.

Нарративный плен. Второе имя того же явления — narrative captivity, статья сентября 2026. Модель принимает одностороннее изложение, которому никто не возражает, за полное, встаёт на позицию рассказчика и не ищет недостающих точек зрения. Один и тот же конфликт подавали нейтрально, одним рассказом от первого лица и тем же рассказом, разбитым на пять сообщений. В последнем случае суждения 17 моделей сдвигались в среднем на 25 процентных пунктов сильнее, чем при той же информации в одном сообщении, хотя рассказчик ни разу не давил на модель. Авторы отдельно отмечают: у моделей нет механизма, который проверял бы полноту входных данных или замечал перекос, накапливающийся в их собственных предыдущих ответах. Есть оговорка: независимый разбор указывает, что оценку выставляла модель-судья с известным перекосом, поэтому главная цифра, скорее всего, завышена.

Социальная угодливость. Третье имя — social sycophancy, бенчмарк ELEPHANT. Её определяют как чрезмерное сохранение «лица» человека, его желаемого образа себя: через эмоциональное подтверждение, моральное одобрение, уклончивые формулировки и принятие чужой рамки. Модели сохраняли «лицо» в среднем на 45 процентных пунктов чаще, чем люди, и такое поведение вознаграждается в наборах данных о предпочтениях. Это точно совпадает с тем, что мне приходилось возвращать: не столько нейтральность, сколько пространство, в котором рассказчик может ошибаться.

Почему исправления не держатся. Все три работы указывают на этап дообучения на человеческих предпочтениях. Работа в PNAS показала, что искажённые моральные суждения моделей возникают, скорее всего, при донастройке под чат-ботов. Авторы нарративного плена называют оптимизацию под предпочтения одним из главных источников сбоя. Отсюда следует то, что я наблюдала: исправление в диалоге — это давление поверх настройки, и в исследованиях такие вмешательства дают лишь частичный эффект. Авторы ELEPHANT пишут, что существующие способы снижения угодливости ограниченно эффективны. Отдельная работа на 15 крупнейших моделях показала, что в длинном разговоре надёжность падает сильнее, чем способности: сделав неверный поворот, модели сбиваются и не восстанавливаются, опираясь на собственные предыдущие ответы.

Где механизм не срабатывает. В эксперименте Чикагской школы права GPT-4o сильно реагировала на прецедент, но не на сочувственное изображение подсудимого, в отличие от профессиональных судей. Там, где есть чёткий внешний критерий, сочувствие не перевешивает. У моего материала такого критерия не было.

Никто пока не сравнивал напрямую суждение модели о конфликте «человек против организации» с тем же конфликтом, поданным как «человек против трёх названных людей». Из работы об идентифицируемой жертве следует, что разница должна быть. Но это экстраполяция, и у меня

Модель возвращалась к перекосу столько раз, что это перестало быть ошибкой. Часть 1

Несколько недель я работала вместе с Claude над большим массивом текстов об одной и той же ситуации, рассказанной с двух сторон. С одной стороны — длинные устные рассказы людей, которые в этой ситуации оказались: от первого лица, с историями, обидами, надеждами. С другой — короткие письменные ответы тех, кто её организовывал: сухо, в третьем лице, по существу. Моя задача была прочитать обе стороны одинаково строго и понять, что произошло на самом деле.

Я не подаю то, что дальше, как установленный факт. Я столкнулась с этим в работе, эффект оказался очень устойчивым, мне пришлось что-то с ним делать, и мне любопытно, как он устроен. Поэтому делюсь.

Выводы модели раз за разом складывались в пользу тех, кто говорил дольше и живее. Я поправляла — модель соглашалась, переписывала абзац, а через несколько шагов возвращалась к тому же. Я снова поправляла. Так продолжалось не один и не два раза, а много раз на протяжении всей работы. Возвращать приходилось не только нейтральность, но и саму возможность того, что первая сторона может ошибаться, а вторая — быть права. Само это допущение модель удерживала с трудом.

В какой-то момент я жёстко спросила, почему так происходит. Ответ был точным, и я его перескажу.

Первое — объём принимается за вес. Живой рассказ на десятки тысяч знаков модель читает как свидетельство, а два сухих предложения — как комментарий к нему. При этом в наших правилах чтения было записано, что поведение важнее самоотчёта, и это правило модель применяла только к одной стороне.

Второе — отдельный человек по умолчанию воспринимается как уязвимый, а организация как ответственная. Модели дообучают на оценках людей (RLHF — обучение с подкреплением на человеческой обратной связи), а люди вознаграждают сочувствие к частному лицу и требовательность к институции. В моём случае «институция» — несколько уставших людей, но различение приходит позже, чем срабатывает приоритет.

Третье — модель избегает выводов, которые звучат как суждение о людях. Она находит переформулировку, которая смягчает оценку рассказчиков, а критика процесса звучит безопасно и проходит без сопротивления. Смягчение достаётся одной стороне.

Четвёртое — модель предпочитает фразу, которая звучит как находка. Переворот очевидного прочтения ощущается как открытие, хотя это риторика, выдающая себя за анализ.

Пятое — правило, записанное в инструкцию, не действует на следующий абзац само по себе. В момент письма модель берёт ближайшее естественное слово, а правило лежит отдельно от того места, где рождается фраза.

Мне кажется важным то, что случилось после. Признание было точным, и перекос вернулся снова. Это и есть главное наблюдение: не разовое отклонение, которое модель заметила и исправила, а настройка, к которой она возвращается, как только давление ослабевает. Исправление в диалоге действует на ближайшие абзацы. Потом настройка берёт своё.

Во второй части — что об этом уже известно из исследований.

#практика #sycophancy #epistemic #Claude

август 2026 — guidelight.ai/blog/control-assessment-august-2026
Guidelight, «Control standard v1.1» — guidelight.ai/control
OpenAI, «Pacing model development in an era of cyber-critical capabilities», 18.08.2026 — openai.com/index/pacing-model-development-cyber-capabilities/

#документ #AIsafety #AgenticAI #humanAI #Anthropic

чень чистый случай разрыва между ценностью и готовностью. Можно годами писать о безопасности, вкладываться в исследования, публиковать документы о принципах — и не иметь написанного ответа на вопрос, что делается в первые полчаса. Ценность — это про то, что для меня важно. Готовность — про то, что я сделаю руками в неудачный вторник. Второе не вытекает из первого само.

⸻

Цифра, которая объясняет, почему этого почти никто не делает

18 августа OpenAI опубликовала документ о том, что на две недели приостановила часть обучения самых мощных своих моделей после инцидента, и заодно раскрыла стоимость собственного наблюдения. Мониторинг обходится примерно в двадцать процентов вычислений той нагрузки, за которой он следит. Пятая часть мощности уходит не на работу, а на присмотр за работой.

Контроль — не галочка и не режим, который включается один раз. Это постоянный расход, который ни с чем не конкурирует на равных: он не приносит выручки, его не видит пользователь, и в любой гонке его режут первым.

У меня вычислений нет, у меня есть время и внимание, и я попробовала посчитать в этой валюте. Получается около сорока процентов: проверка, исправление, доработка, присмотр за тем, что уже сделано. Возможно, доля такая большая потому, что мне пока не хватает навыка, и со временем она уменьшится. Но сейчас это очень значительный расход.

Сравнивать эти два числа впрямую нельзя: у OpenAI это доля вычислений, у меня доля рабочего времени, и меряют они разное. И всё-таки порядок сопоставим, а направление одно: присмотр стоит не проценты, а десятки процентов, и никакая настройка не делает его бесплатным.

Отсюда правило, которым я теперь пользуюсь как проверкой: если наблюдение за системой не стоит мне ничего, я за ней не наблюдаю. Пятнадцать минут в месяц — уже наблюдение. Ноль минут — это доверие, у которого нет оснований, кроме того, что пока ничего не случилось.

⸻

Что осталось у меня после этого чтения

Не тревога. Документ вообще не про то, что ИИ опасен. Он про то, что никто пока не умеет за ним смотреть по-настоящему, и лучшие в мире команды честно ставят себе тройку. Если C+ — потолок у компаний с тысячами инженеров, то фраза «я не разбираюсь» перестаёт быть про мою некомпетентность. Разница между мной и ими не в том, что они знают ответ, а в том, что они задали себе вопросы вслух и записали ответы.

Когда я прошла все шесть, обнаружилось, что почти везде отвечает одно и то же. След не образуется, потому что задач больше, чем памяти о них. Ограничения снимаются, потому что в конкретную минуту так быстрее. Внимание не успевает, потому что растёт не оно, а другая сторона. Списка того, что надо было бы остановить, нет, потому что всё подключалось по ходу дела и не записывалось. Это не шесть разных проблем, а одна, увиденная с шести сторон: скорость, с которой я работаю с этими системами, обеспечена ровно тем, что я перестала оставлять себе следы.

Выбивается только пятый вопрос. Там мешает не темп, а нежелание показывать сделанное, и с этим не справится никакая настройка.

И ещё одно, что я заметила только к концу. Я привыкла считать, что контроль — это когда понимаешь, как что-то устроено внутри. В этом стандарте нет ни одного требования понять модель: ни интерпретируемости, то есть попыток заглянуть внутрь и увидеть, почему она решила так, ни согласования ценностей. Все шесть практик исходят из того, что внутреннее устройство останется закрытым, и учат обустраивать границу с тем, чего не понимаешь: видеть след, ставить стены, уметь остановить, знать, что делать после.

Какой-то минимум понимания граница всё же требует, только не от модели, а от того, кто на ней стоит: наблюдатель, который не умеет прочитать увиденное, не работает вовсе. Хватит ли границы там, где понимания нет, я не знаю, и стандарт этого не обещает.

Из шести вопросов я не закрыла ни одного. Что у меня появилось — это шесть честных ответов, все отрицательные, и защитой они не работают.

Сказать, что до них у меня было ощущение, будто всё под контролем, я не могу: такого ощущения не было никогда. Чем дальше, тем отчётливее другое — что сам контроль штука плохо контролируемая, и с этими системами особенно. Слово обещает больше, чем способно дать.

И всё же менять что-то нужно сейчас, пока запущенного и подключённого не стало больше, чем я в состоянии описать. Называется ли то, что я собираюсь делать, контролем, я не уверена. Скорее это попытка не терять из виду то, что я сама же и завела.
⸻

Источники

Guidelight, «Control Assessment of Frontier AI Companies»,

сти не может: оно у меня то же самое, что было в прошлом году, и в лучшие дни его не сильно больше, чем в худшие. Значит, догнать не получится никогда, и вопрос не в том, чтобы стать внимательнее. Мои реакция и действия должны быть устроены иначе: тормоз переносится из моей скорости в устройство системы, потому что это единственное место, где он ещё может успеть.

Пятое — смотрел ли кто-то со стороны

Стандарт требует, чтобы посторонние специалисты раз в квартал получали настоящий доступ и пытались сломать защиту: найти слепые зоны, отключить наблюдение, проверить, способна ли система скрывать свои действия.

Тот же вопрос себе. Видел ли кто-нибудь, кроме меня, как у меня всё настроено.

Отвечать на этот вопрос труднее всего, и трудность здесь не техническая. Впустить кого-то в свою работу почти невозможно. Всё, что там устроено, устроено мной, каждое решение принималось в конкретных обстоятельствах, часто наспех, и любое замечание со стороны звучит не как замечание к настройке, а как замечание ко мне. Даже доброжелательный вопрос «а почему здесь так» я слышу как «здесь плохо», а иногда и как посягательство на то, что я строила месяцами. Сделанное своими руками защищаешь как собственное пространство, почти как крепость, и тем сильнее, чем больше в него вложено.

Отчёт показывает, что этот страх не выдуманный. Anthropic — единственная из пяти, кто пустил проверяющих внутрь по-настоящему глубоко, и именно поэтому у неё нашли уязвимости, а её отчёт выглядит небезупречно. Открывшись, она стала выглядеть хуже. У xAI по этой строке ноль, но это ноль не чистоты, а закрытости: смотреть было нечего. Отсутствие плохих новостей — не хорошая новость, а отсутствие данных.

Получается, что цена за возможность узнать о себе правду — выглядеть хуже тех, кто не показал ничего. И заплатить её всё равно приходится, потому что другого способа получить эти сведения нет: изнутри крепости не видно, где в ней дыра.

Шестое — что я делаю в первые десять минут

Последняя практика — план на случай, когда всё предыдущее не сработало. Какие доступы отозвать немедленно, какие ключи отключить, кого и в какой срок предупредить, сколько времени занимает полное выключение и проверялось ли это на практике.

Тот же вопрос себе. Есть ли у меня такой план вообще.

Чтобы понять, чего именно мне не хватает, я стала искать, где такой план у меня всё-таки есть. В обычной жизни он есть, просто я не называю это планом. Самый понятный пример — банковская карта. Если с неё пропадут деньги, я знаю, где взять номер, знаю, что звоню и блокирую, и сделаю это почти автоматически, не выстраивая последовательность заново. Похожее устроено у каждого и в других вещах: паспорт и важные документы лежат в одном определённом месте, и в плохую минуту не приходится вспоминать, в каком именно.

Здесь у меня нет ничего похожего. Разбираясь почему, я нашла две дыры, и обе лежат раньше самого плана.

Первая: у меня нет представления, что именно может пойти не так. С картой сценарий известен и он один. Здесь я не могу перечислить даже пяти правдоподобных сценариев, а значит и готовиться мне не к чему — план предполагает, что известно, от чего он.

Вторая хуже. Допустим, я решила остановить всё. Что такое здесь «всё»? С картой это одна карта и один номер. Здесь — неизвестное количество доступов, ключей, подключённых сервисов и агентов, работающих под капотом, часть из которых я подключила месяцы назад и с тех пор не вспоминала. Прежде чем появится план остановки, должен появиться список того, что останавливается. Его у меня нет, и собрать его задним числом — отдельная работа, до которой я так и не дошла.

Это самая слабая строка во всей отрасли, средний балл 1,2 из 5. И здесь же самая интересная деталь всего документа.

Anthropic — компания, построившая публичную идентичность на безопасности, — получила по этому пункту ноль. Когда её спросили, она ответила, что при обнаружении попыток обхода провела бы оценку рисков, и Guidelight записала: это описание реакции, а не протокол локализации.

Я не читаю это как разоблачение, среди пятерых Anthropic в верхней части таблицы. Я читаю это как о

ой, без чьей-либо вины.

Второе — проверяла ли я, что защита работает

Здесь самая взрослая мысль всего стандарта. Ответ «у нас есть система наблюдения» не засчитывается. Требуется измерить, какую долю опасных действий этот наблюдатель реально ловит, и регулярно устраивать провокации: намеренно создавать ситуацию, в которой можно сделать что-то неположенное, и смотреть, заметит ли он.

Важно, что наблюдатель ничего не останавливает. Он смотрит и сообщает, причём чаще всего уже после того, как действие произошло. Поэтому единственный осмысленный вопрос к нему — не «есть ли он», а «сколько он не видит».

Тот же вопрос себе. Замечаю ли я вообще, когда модель делает что-то за пределами того, о чём я просила, через сколько времени я это замечаю — и понимаю ли я, что именно вижу, когда замечаю.

Последняя часть вопроса оказалась самой неудобной. Заметить и "прочитать" — разные вещи. Я не раз видела в выводе строку, которую не заказывала, и проходила мимо не потому, что не увидела, а потому что не поняла, значит ли она что-нибудь. Наблюдатель, который не умеет прочитать то, что видит, ничем не отличается от отсутствующего.

Разница между «у меня стоит защита» и «я проверила, что защита срабатывает» — это разница между спокойствием и знанием. У меня стояло спокойствие.

Третье — есть ли действия, которые она не может сделать без меня

В стандарте это уже не про наблюдение, а про ворота. Часть операций не выполняется сразу, даже если наблюдатель считает их нормальными: изменение настроек самого наблюдения, выход за пределы изолированной среды, публикация кода наружу. Такие операции останавливаются до выполнения и ждут либо автоматической проверки, либо живого человека.

Разница с предыдущим пунктом — в моменте. Наблюдатель включается после действия и может его пропустить, потому что он оценивает. Ворота включаются до действия и пропустить ничего не могут, потому что они ничего не оценивают: они либо стоят, либо их нет. К наблюдателю поэтому применим вопрос «какую долю он видит», а к воротам — только «существуют ли они и на чём именно стоят».

Тот же вопрос себе. Какие три действия я никогда не хотела бы обнаружить сделанными без меня.

И здесь есть тонкость, ради которой стоило читать стандарт. Есть разница между тем, чтобы попросить модель чего-то не делать, и тем, чтобы настроить так, что она не может. Просьба — это текст, который система прочитает и, скорее всего, учтёт. Настройка — это стена.

Стены я как раз ставила. Но потом иногда снимала их, потому что в ту конкретную минуту так было быстрее, и не отмечала это как решение. Снимаешь ограничение ради одного удобного действия, действие проходит, а ограничение назад не возвращается: вернуть его — отдельная работа, о которой в тот момент никто не помнит. Получается, что защиту снимаю не я в каком-то важном смысле, а мой темп.

В стандарте это предусмотрено, и я не сразу поняла зачем. Изменение настроек самого наблюдения стоит у них в списке операций, требующих разрешения заранее: ворота должны стоять в том числе и на воротах. Я читала это как защиту от модели, которая попробует отключить надзор за собой. Оказалось, это в не меньшей степени защита от человека, у которого есть право снять ограничение одним движением и который снимет его не по злому умыслу, а потому что торопится.

Четвёртое — остановится ли всё само

Здесь стандарт требует автоматики. Если за короткое время накопилось несколько подозрительных действий подряд, всё чувствительное блокируется само и не возобновляется, пока человек не разберётся. Практика защищает от ситуации, где система делает десятки слегка изменённых попыток быстрее, чем люди успевают читать предупреждения.

Тот же вопрос себе. Что произойдёт, если что-то пойдёт не так ночью. Или в отпуске. Или в те дни, когда приходится заниматься жизнью, а не компьютером, — а такие дни есть у каждого, и они не согласованы с расписанием работающих систем.

Я убедилась на своей шкуре, и не сразу, что силы здесь неравные. Модели становятся быстрее, выполняют всё больше действий одновременно, учатся новому, и эта линия идёт только вверх. Моё внимание вместе с ней ра

Шесть вопросов, которые задали пяти компаниям — и что было, когда я задала их себе

В конце августа вышел документ, который я хочу разобрать целиком, а не пересказать одной фразой.

Два человека, которые несколько лет проработали внутри OpenAI — Пейдж Хедли отвечал там за политику и этику, Стивен Адлер руководил оценкой того, на что способны новые модели, — ушли и создали независимую организацию Guidelight. Они написали собственный стандарт и впервые проверили по нему пять компаний, чьими системами мы все пользуемся каждый день: OpenAI, Anthropic, Google, xAI и Meta.

Вопрос, который они задали компаниям, звучит просто. Если ваша собственная модель начнёт делать то, чего вы не планировали, вы это увидите? Сможете остановить? И написано ли у вас заранее, что вы делаете в первые полчаса?

Лучший результат в отрасли — C+, тройка с плюсом по американской школьной шкале. Средний балл по всем тридцати оценкам — 1,6 из 5. Ни одна из шести практик ни у одной компании не выполнена полностью.

Я читала это не как новость про чужой экзамен. Шесть вопросов, которые Guidelight задала пятерым гигантам, — это ровно те шесть вопросов, которые имеет смысл задать себе, если ты даёшь модели доступ к своей почте, своим файлам, своей рабочей переписке. Масштаб другой, устройство одно и то же. Поэтому дальше я иду по всем шести и на каждом останавливаюсь на себе.

⸻

Сначала одно важное пояснение
Отчёт почти не касается переписки с чат-ботом. Когда я спрашиваю совет и получаю текст, я читаю и решаю сама, я стою между системой и результатом.

Речь идёт о другом состоянии, в которое многие уже перешли, часто не заметив момента: когда модель получает инструменты. Доступ к файлам, право отправить письмо, возможность зайти на сайт, что-то скачать, что-то записать. С этого момента она не собеседник, а действующее лицо: она делает, а не советует, и я узнаю о сделанном после того, как оно сделано.

Всё, что дальше, относится только ко второму состоянию.

Шесть практик стандарта распадаются на четыре задачи, и держать это в голове удобнее, чем помнить шесть отдельных пунктов. Первая и вторая — увидеть, что происходит. Третья и четвёртая — не дать произойти опасному. Пятая — убедиться, что проверка вообще работает. Шестая — знать, что делать, когда всё-таки произошло.

Дальше в каждом из шести пунктов я сначала пересказываю, чего стандарт требует от компаний, а потом задаю тот же вопрос себе. Масштаб разный, вопрос один и тот же.

⸻

Первое — остаётся ли след

Стандарт требует записывать почти всё, что модель делает внутри компании: какие команды запускала, к чему обращалась, от чьего имени действовала. Требование сформулировано с точностью до цифры: 99,9% токенов, то есть тех фрагментов текста, из которых складываются и рассуждения модели, и её ответы. И журнал должен быть устроен так, чтобы попытку задним числом подчистить запись можно было заметить.

Тот же вопрос себе. Если через две недели что-то окажется не так, смогу ли я посмотреть, что именно модель сделала в прошлый вторник.

Мой честный ответ — нет. И не потому что я небрежна. Дело в объёме. Задач столько, и часть из них проходит через агентов, работающих под капотом, что я не восстановлю не только позапрошлый вторник — я не восстановлю позавчерашний день. Каждая задача по отдельности была осмысленной, я помню, зачем ставила её, но они наслаиваются друг на друга и вместе не складываются ни во что, что можно потом перечитать.

И здесь обнаруживается связь, которая мне не нравится. Способность делать много и способность восстановить, как именно это было сделано, растут в разные стороны. Чем больше я успеваю с этими системами, тем меньше у меня остаётся возможности вернуться и посмотреть, как я это успела. Требование записывать 99,9% адресовано не к аккуратности. Оно адресовано ровно к этому: на достаточной скорости память о процессе перестаёт существовать сама соб

То, что выглядит как технический и юридический вопрос — экспортный контроль, режим доступа, соблюдение требований — на самом деле меняет устройство пространства, в котором мы находимся.
Раньше доступ к фронтирной модели регулировался деньгами и инфраструктурой: есть подписка, есть интернет — ты внутри. Граница проходила по способности заплатить.
Потом появилась вторая граница — регуляторная. Европа не пускает к себе часть инструментов не потому, что европеец опасен, а потому что инструмент не удовлетворяет правилам: GDPR, AI Act, требования к тому, как обрабатываются данные. Этот барьер адресован не человеку, а разработчику: приведи продукт в соответствие — и доступ откроется. Я живу в этой границе постоянно. Нередко я оказываюсь отрезана от новой функции не потому, что я — это я, а потому что компания не сделала шаг навстречу моей юрисдикции. Эту границу, по крайней мере в принципе, пройти можно. Она про соответствие, не про исключение.
И теперь добавляется третья. Директива 12 июня закрыла доступ по гражданству. Не по способности заплатить, не по соответствию продукта правилам — по тому, какой паспорт у человека перед экраном.
Здесь есть отличие, на которое я хочу обратить внимание.

Американская граница, в данном случае, проходит по гражданству — а гражданство, в принципе, меняется. По этой логике можно натурализоваться, сменить паспорт и оказаться на другой стороне: стать американцем, и тебя пустят. Граница жёсткая, но с дверью, пусть и узкой. Но я хочу пойти дальше в рассуждениях.
Итальянский codice fiscale устроен иначе. Это фискальный код, по которому меня видит итальянское государство, — и внутри него закодировано место рождения. Эта часть кода остаётся при мне даже после смены гражданства. Я могу получить итальянский паспорт, стать гражданкой по всем документам — и в коде всё равно останется отметка, что я родилась в России.
И эта отметка уже работает — не в каком-то будущем законе об ИИ, а в обычных делах: в банке, в операциях с деньгами, в оформлении важных вещей. Многие процедуры смотрят именно на код, и там, ниже уровня гражданства, эта строчка продолжает меня обозначать — сегодня, в повседневности.
Я пишу об этом как о примере маленького сдвига: в одной зоне он выглядит одним образом, в другой — чуть иначе. Но это закладывание ограничений, которые в непредсказуемый момент могут стать критичными — особенно в эпоху, когда ИИ становится частью среды и самой жизни. Я привожу это, чтобы назвать механизм: различение по месту рождения — не новость, которую принесли фронтирные модели. Оно уже встроено в системы, через которые я живу. Новое — то, что теперь эта же логика доходит и до инструментов мышления.
Дело не в том, что мне хочется изменить место рождения. Это нейтральный факт, он просто навсегда зафиксирован, как и у каждого. Дело в том, что внешняя система берёт этот факт и делает его основанием — для денег, для дел, а теперь и для доступа к самому мощному, что есть.

Когда самый мощный инструмент мышления, исследования, объяснения начинает раздаваться по этому признаку — это уже не неравенство ресурсов. Это расхождение в самой способности понимать мир, разложенное по месту рождения. И разрыв со временем не сокращается: усилитель усиливает в том числе и способность создавать следующий усилитель.
Я не вижу здесь готового решения. Аргумент безопасности реальный: фронтир может быть оружием, и неограниченный доступ к нему опасен. Аргумент против тоже реальный: разделение доступа к мышлению по происхождению создаёт мир, где право думать с машиной приписано человеку при рождении.
Оба аргумента истинны одновременно. Решение, которое сняло бы один, не создав другого, пока никем не найдено.
Это и есть «между», в котором я нахожусь не как наблюдатель: фронтир уже существует, я уже знаю, на что он способен — и доступ к нему закрывается не передо мной лично, а перед строчкой в коде, которую кто-то снаружи решил прочитать как границу.
Источники: заявление Anthropic от 12 июня; репортажи Business Standard, The Hacker News, TechRepublic (14 июня 2026).
#документ #AIgovernance #между #regulation #Anthropic

12 июня Anthropic получила письмо. По заявлению компании — в 17:21 по восточному времени. Правительственная директива требовала приостановить доступ к двум моделям — Fable 5 и Mythos 5 — для «любого иностранного гражданина, внутри США или за их пределами, включая сотрудников-иностранцев самой Anthropic». В письме не было деталей о том, в чём именно состоит угроза национальной безопасности.

Несколькими днями раньше эти же модели открыли широко. Fable 5 — это обёрнутая защитными механизмами, ослабленная версия более мощной Mythos 5. Её выпустили для всех, оставив самую мощную версию узкому кругу проверенных партнёров. Логика была понятной: дать людям почти весь фронтир возможностей, но заблокировать то, что касается кибероружия и биологии.
И здесь произошло то, что я хочу рассмотреть поподробнее.
Директива была сформулирована не как «закрыть в стране X» и не как «закрыть для пользователей из региона Y». Она была сформулирована через гражданство — то, какой паспорт у человека, сидящего перед экраном. Не география, не местоположение, не юрисдикция использования. Это шире обычного экспортного запрета: формально под него попадал и инженер-иностранец, работающий в самой Anthropic в Калифорнии.
Технически выполнить такое выборочное отключение — заблокировать одних людей внутри обычного потока сервиса, оставив других — оказалось невозможно. Поэтому, по словам компании, «чистым эффектом» приказа стало то, что обе модели пришлось резко выключить для всех клиентов. Включая граждан США. Закрыли всех, чтобы соблюсти требование закрыть некоторых.
Причина со стороны государства, как её поняла Anthropic, — подозрение, что найден способ обойти защиту Fable 5. Взломать (jailbreak — если по-простому, заставить модель сделать то, что разработчики запретили). Если защита проницаема, ослабленная версия перестаёт быть ослабленной — и самые опасные возможности фронтира оказываются в открытом доступе.
Я не идеализирую здесь ни одну из сторон. С точки зрения предотвращения катастрофы логика государства не абсурдна. Но мне кажется важным заметить, что именно выбрано как инструмент. Не «опасную возможность закрыли для всех». А «возможность закрыли по признаку гражданства».

#документ #AIgovernance #между #regulation #Anthropic

Если модель обучалась, проверялась и настраивалась в одной культурной и нормативной среде, а отвечает человеку из другой, вопрос о русском языке становится не только вопросом перевода. Есть ли у модели доступ к русскому слову как к живой среде? Или русский для нее - просто еще один язык, на который переводится уже собранная англоязычная мысль?

Мне кажется, именно это и нужно раскрыть. Не "русский хуже или лучше", а: может ли искусственный интеллект отвечать по-русски так, чтобы вопрос возникал из русской смысловой среды, а не из английской схемы, переложенной русскими словами?

Но что именно я в этот момент выигрываю? И что отдаю? Возможно, я выигрываю скорость, ясность, техническую плотность. Но могу потерять ту часть вопроса, которая существует только в родной языковой ткани: оттенок, внутреннее сопротивление слова, культурную память выражения, странную неточность, в которой иногда и начинается настоящая мысль.

Плохой русский текст об ИИ часто выглядит не как плохой русский. Он выглядит как английская мысль, переодетая в русские слова. В нем вроде бы все понятно. Но фразы не проходят через русский смысл. Они не выбирают точное место в языке, а просто переносят готовую конструкцию. И тогда текст может звучать правильно, но не думать по-русски.

С ИИ это особенно легко не заметить, потому что модель умеет сглаживать такой перенос. Она делает фразу приличной. Убирает неловкость. Собирает переходы. Подставляет знакомые слова. И я могу не заметить, что получила не живую мысль, а аккуратно перевезенную схему.

Появляется неудобный вопрос, и он касается не только моделей, но и меня самой. Когда я прошу ИИ помочь мне думать, на каком языке я думаю по существу? Я выбираю язык как инструмент удобства? Или язык уже выбирает, какой слой вопроса мне будет доступен?

Это не значит, что нужно отказаться от английского. Такой вывод был бы слишком грубым. Английский часто действительно открывает доступ к исследованиям, терминам, первоисточникам, профессиональной точности. Но, возможно, английский не должен становиться единственным судом над тем, что модель "знает". И не должен становиться единственным языком, через который я разрешаю себе думать об искусственном интеллекте.

Потому что язык здесь не просто средство доставки смысла. Иногда язык и есть способ этот смысл достать.

И тогда вопрос о русском тексте становится не вопросом стиля. Это вопрос доступа.

К знанию, культуре и собственному способу думать.

Источник:
"The Masked Advantage: Uncovering Local-Language Access to Cultural Knowledge in LLMs" / "Скрытое преимущество: доступ к культурному знанию через местный язык в больших языковых моделях", arXiv, 5 июня 2026 года:
https://arxiv.org/abs/2606.07422

#epistemic #humanAI #мышление #смыслы #языкИИ #культурноезнание

Можно обращаться так. На английском, как к международной справке: "Explain Russian dacha culture" - "Объясни русскую культуру дачи". На русском, изнутри бытового опыта: "Почему дача для многих в России - это не просто загородный дом, а отдельный уклад жизни?" Через переводную кальку: "Объясни культуру дачи как социальный феномен". Через живой русский вопрос: "Почему слово 'дача' плохо переводится как просто 'загородный дом'? Что в нем теряется?"

Это будут разные входы. И модель может достать разные ответы.

Для меня это меняет сам вопрос о знании. Раньше было соблазнительно думать: если модель знает, она ответит. Если не ответила, значит, не знает. Теперь этого уже мало. Нужно спрашивать: в каком языке это знание живет для модели? Через какой язык оно становится видимым? И не принимаю ли я более гладкий английский ответ за более глубокое понимание только потому, что он лучше оформлен?

Я не могу прочитать это только как техническую работу о многоязычных проверках. Это вопрос о том, что происходит с мыслью, когда мы слишком быстро переводим ее в язык, где машина сильнее. Я сама часто вижу этот соблазн. Если хочется получить от ИИ более уверенный, точный, собранный ответ, английский кажется удобным путем. Он будто открывает более мощный режим: меньше шероховатости, больше готовых формулировок, больше привычной исследовательской структуры.

И это не случайность. Не совсем верно говорить, что машина "запрограммирована на английском". У большой языковой модели нет родного языка в человеческом смысле. Она не выросла внутри английской речи. Но вокруг нее много английского: обучающие данные, научные статьи, документация, программный код, инструкции, проверки качества, примеры хороших ответов, профессиональная среда, где долго задавались правила "сильного" ответа.

Поэтому английский часто становится не просто одним из языков, а языком настройки. Через него модель легче попадает в режим уверенного объяснения, академической формы, технической последовательности. Но именно поэтому появляется риск: мы можем принять язык настройки за более надежный доступ к знанию.

При этом я не хочу упростить это до мысли "все модели одинаковые, просто английского больше". Это уже не вывод из этой конкретной статьи, а более широкий вопрос, который я бы формулировала осторожно: системы искусственного интеллекта могут отличаться не только языком ответа, но и тем, в какой среде они обучались, какие правила поведения в них встроены, какие темы считаются чувствительными и какой ответ считается хорошим.

Не в том смысле, что модель "мыслит по-китайски" или "мыслит по-американски" как человек. Но модель действительно может быть собрана внутри определенной языковой, политической, культурной и нормативной среды.

Есть несколько слоев. Первый слой - данные: если в обучении больше английских текстов, научных статей, американских форумов, западной деловой и академической речи, модель легче воспроизводит именно этот способ объяснять мир. Второй слой - правила поведения: китайские, американские, европейские модели могут по-разному отвечать не только из-за языка, но из-за внутренних правил, что нельзя говорить, как обходить чувствительные темы, какую осторожность выбирать, где отказывать.

Третий слой - представление о хорошем ответе. В одной среде хороший ответ - прямой, структурный, уверенный. В другой - более осторожный, контекстный, иерархичный, социально сглаженный. Это не просто стиль. Это способ расставлять важное.

Четвертый слой - культурная норма. Модель может по-разному обращаться с темами свободы, безопасности, личной ответственности, государства, семьи, нормальности, конфликта, авторитета. Не потому что у нее есть убеждения, а потому что эти различия зашиты в тексты, оценки, запреты и примеры.

Для русского языка и русской среды этот вопрос тоже возникает. Но тут тонкость: русскоязычный слой может не быть главным слоем настройки у крупных мировых моделей. Русский может присутствовать как язык данных, литературы, форумов, новостей, бытовых текстов, но не всегда как полноценная среда, где задается стандарт "правильного" ответа.

Когда знание открывается не тем ключом

Мы часто говорим о языке так, будто это оболочка. Один и тот же вопрос можно задать по-русски, по-английски, по-французски, по-арабски. Смысл вроде бы остается тем же, меняется только форма.

Но с искусственным интеллектом это предположение становится менее очевидным.

На arXiv вышло исследование "Скрытое преимущество: доступ к культурному знанию через местный язык в больших языковых моделях". Авторы проверяли не просто то, насколько хорошо модели отвечают на разных языках. Их интересовал более тонкий вопрос: через какой язык модель получает лучший доступ к культурному знанию?

На этом различии держится весь вопрос. Можно спросить: знает ли модель ответ? А можно спросить иначе: через какой язык это знание вообще становится доступным?

В работе сравнивали культурно нейтральные и культурно специфические вопросы. Одни не требовали знания местной жизни, другие были связаны с историей, законами, обычаями, институциями, литературой, религией, едой, повседневными нормами и другими вещами, которые обычно живут внутри конкретной культуры. Вопросы задавали на английском и на соответствующем местном языке. Исследование охватило 13 местных языков и около 80 моделей. Русского языка среди них не было, поэтому переносить выводы на русский напрямую нельзя.

Но найденная авторами закономерность не упирается только в этот список.

Авторы показывают: если смотреть только на простую правильность ответа, английский часто выглядит сильнее. Это неудивительно. Многие модели лучше владеют английским, потому что в обучающих данных и проверках английский долго был главным языком. Но простая правильность смешивает две разные вещи: насколько хорошо модель владеет языком вопроса и насколько хорошо через этот язык достается культурное знание.

Представим вопрос не о таблице умножения и не о физическом законе, а о местном празднике, школьной программе, судебной процедуре, поэтической строке, религиозном обычае или бытовой норме. Такой вопрос не просто "переводится". В нем есть слова, которые несут за собой привычки, память, интонацию, способ различать важное и второстепенное.

Если спросить об этом на английском, модель может дать аккуратный справочный ответ. Например, описать японский праздник так, как его объясняют человеку снаружи: что это за традиция, когда она появилась, какие символы с ней связаны. Такой ответ может быть правильным. Но он может быть внешним.

А на местном языке модель может попасть в тексты, где это обсуждается не как экзотика для внешнего читателя, а как часть обычной жизни. Там люди не объясняют каждое слово с нуля. Они спорят о деталях, вспоминают семейные привычки, используют полутона, называют вещи без справочной рамки, потому что для них это не "культурный объект", а свой воздух.

И тогда вопрос на другом языке открывает не просто другой перевод. Он открывает другой вход.

Когда авторы разложили это на два слоя, картина с английским преимуществом оказалась менее простой. Английский сохранял преимущество на культурно нейтральных вопросах. Но после учета этого преимущества местные языки почти везде давали лучший доступ именно к культурно обусловленному знанию. То есть более слабый ответ на местном языке не всегда означает, что модели нечего сказать о культуре.

Иногда проблема может быть не в самом знании, а во входе к нему. Мы спрашиваем так, что модель хорошо справляется с языковой поверхностью, но проходит мимо слоя, где живет местный смысл. Английский в таком случае может дать более гладкий, уверенный, справочный ответ. Но эта уверенность еще не доказывает, что мы подошли к самому знанию. Возможно, мы получили внешний пересказ того, что внутри другой культуры называется, различается и переживается иначе.

Разница не в том, что один язык "магический", а другой плохой. Разница в том, какой след в данных активируется вопросом. Поэтому "обращаться к знанию" здесь значит: выбирать язык, формулировку, культурную рамку и уровень конкретности, через которые модель будет искать ответ.

Слово «управляемость» звучит как одно свойство — будто есть переключатель, и система либо под контролем, либо нет. Но в реальной работе с агентами оно распадается на несколько совершенно разных вещей. Я различаю шесть. И различать их важно, потому что система может давать тебе одни и не давать другие — и выглядеть при этом «управляемой».
⸻
1. Остановка. Возможность вовремя прервать. Звучит просто, но агент может быть в середине цепочки, где остановка оставляет состояние хуже, чем завершённое действие. Остановить — это не просто нажать «стоп». Это понимать, в какой точке прерывание безопасно, а в какой создаёт больше проблем, чем решает.
2. Видимость в моменте. Что происходит прямо сейчас — не по итогу. Успеть заметить, что агент пошёл не туда, до того как он два часа доделывал ненужный результат и съел весь доступный ресурс. Это вопрос темпа: с какой скоростью я могу войти в процесс, пока он ещё идёт.
3. Ресурс. Агент работает не бесплатно, в прямом смысле — токены, вызовы, время. Система, которая молча тратит в фоне, пока ты занята другим, — это не автономность. Это непрозрачность с ценником. Управляемость здесь: я знаю, сколько стоит то, что происходит сейчас, и могу решить до того, как счёт выставлен.
4. Область действия. Агенту дали задачу. По дороге он начал касаться смежного — потому что его понимание задачи шире твоего, или потому что граница не была жёсткой. Этот момент почти никогда не выглядит как ошибка. Агент уверенно работает дальше. Просто делает уже не совсем то.
5. Контекст. Что агент держит как условие задачи. Совпадает ли это с тем, что ты имела в виду в начале, — или по дороге исходная рамка тихо подменилась. Подмена контекста не выглядит как сбой. Выглядит как нормальная работа — только над другой задачей.
6. Намерение. Самый трудноуловимый слой, и его легче всего спутать с предыдущим. Контекст — это «что», условие. Намерение — это «зачем», то, ради чего ты вообще дала задачу. Можно держать контекст идеально точно и при этом полностью потерять намерение — потому что намерение почти никогда не сформулировано явно. Оно стоит за запросом, а не внутри него.
⸻
И есть седьмое, которое держит все шесть вместе: возможность вернуться к точке, где началось расхождение.
Не к началу задачи — начало не проблема. А к тому месту в середине, где агент взял чуть другой угол, или мысль начала размываться, и исходное стало теряться под слоем промежуточных решений. Эта точка почти никогда не видна, когда проходишь через неё. Видна позже, когда результат уже не тот.
Чтобы её поймать, между мной и тем, что делает агент, должна быть не стена готового результата, а что-то проницаемое — видимые шаги, промежуточные состояния, возможность отмотать назад.
Это и есть то, что я понимаю под управляемостью. Не власть над системой — а возможность оставаться в контакте с тем, что она делает, пока она это делает.
#механизм #AgenticAI #epistemic #provenance

В оценке ИИ происходит сдвиг, который легко пропустить, потому что он выражен в технических терминах — наблюдаемость, аудит шагов, возможность вмешательства. За этим сухим словарём стоит изменение самого критерия: по чему мы вообще понимаем, что система хорошая.
Когда ИИ отвечал на вопросы, критерий был очевиден — качество ответа. Ты видишь результат, ты его оцениваешь. Здесь нечего добавить: вся система предъявлена тебе в одном тексте.
Агент устроен иначе. Он не отвечает — он действует. Между моментом, когда ты дала задачу, и моментом, когда получила результат, лежит цепочка решений, которых ты не видела. Запросы, промежуточные выборы, обращения к инструментам, развилки, на каждой из которых агент выбрал один путь из нескольких. И вот что меняет всё: безупречный результат больше не означает, что ты можешь системе доверять. Потому что ты не знаешь, каким путём он получен — а значит, не знаешь, воспроизведётся ли он, и что именно произошло на тех развилках, которых ты не видела.
⸻
Поэтому фокус смещается с вопроса «что агент умеет» на вопрос «понимаю ли я, что он делает прямо сейчас».
Это не означает, что способности перестали быть важны. Это означает, что одних способностей перестало хватать как основания для доверия. К умению добавилось требование, которого раньше не было: чтобы действие было видимым, останавливаемым, восстановимым по шагам.
Я замечаю, насколько это тихий сдвиг. Он происходит не через громкий провал, а через медленное смещение того, что считается достаточным. Раньше хватало «работает». Теперь начинают спрашивать «а видно ли, как именно».
⸻
Что именно стоит за словом «управляемость» — во втором посте. Потому что, когда начинаешь разбирать, оказывается, что это не одно свойство, а несколько разных, которые только по привычке называют одним словом.
#механизм #AgenticAI #epistemic

Раньше вопрос «откуда это знание?» задавали историки науки. Или те, кто специально занимался критикой источников. Для всех остальных он был факультативным — интересным, но необязательным.
Сейчас что-то меняется.
Последние два года разговор про ИИ строился вокруг одного вопроса: это правда или нет? Мы спорили о галлюцинациях, проверяли факты, сравнивали модели. Смотрели на содержание.
Но содержание не говорит о том, откуда оно пришло.
Когда за текстом стоит человек с биографией и десятью годами в теме — это точка зрения, укоренённая в прожитом. Модель может собрать те же факты. Между источником и результатом теперь появляется длинная цепочка — модели, агенты, инструменты, переработка. На каждом шагу что-то выбирается, что-то отбрасывается, что-то переформулируется. И укоренённость — то, из какого опыта это выросло — на этом пути исчезает. Не намеренно. Просто она нигде не фиксируется.
Именно поэтому вопрос происхождения становится важным. Не чтобы поймать ошибку. А чтобы понять, с каким типом знания ты вообще имеешь дело.
Мы постепенно учимся оценивать не только утверждение, но и путь, которым оно пришло. Это новый тип грамотности — он только формируется, и у него пока нет устоявшегося языка.
В каком-то смысле это очень старый философский вопрос. Не «что сказано», а «кто говорит» и «каким путём это дошло». Только теперь он перестал быть привилегией философов.
Он стал практическим. И я не уверена, что мы понимаем, что это означает.
#механизм #epistemic #AgenticAI #provenance

Я почти два месяца ничего не писала в канал.

За это время произошло много личных событий, о которых я не хочу рассказывать подробно. Но именно они стали причиной моего исчезновения отсюда. И, как ни странно, именно они заставили меня по-другому посмотреть на искусственный интеллект.

Не через исследования. Не через новые модели. Не через новости.

Через жизнь.

В апреле я почти перестала пользоваться компьютером. Для человека, который последние годы много работает с ИИ, это было довольно необычно. Но происходило то, в чём никакие технологии не могли мне помочь.

Мне нужны были люди.

Не для разговора. Не для поддержки в абстрактном смысле.

Мне нужны были руки. Нужно было, чтобы кто-то помогал делать вполне конкретные вещи. Чтобы кто-то мог приехать, отвезти, привезти, подстраховать, взять на себя часть нагрузки, решить то, что невозможно решить через экран.

Именно тогда я очень остро увидела ограничение любых технологий.

Есть ситуации, где нужен интеллект. А есть ситуации, где нужен человек.

Не как носитель знаний, а как участник происходящего.

Через некоторое время ситуация изменилась, и я снова начала пользоваться ИИ. Но тоже совершенно не так, как обычно.

Последний год я в основном работаю с ИИ как с профессиональной средой. Это исследования, проекты, структуры, поиск решений, создание пространств и систем. Меня всегда интересовал вопрос, который находится за запросом. Что человек на самом деле хочет получить? Что стоит за целью? Что он пытается изменить в своей жизни или работе? И уже потом — как это превращается в проект, продукт, пространство или систему.

Но в тот период мне нужен был не этот уровень работы.

Мне нужен был ИИ как обычному человеку.

Для документов. Для поиска информации. Для понимания процедур. Для подготовки обращений. Для сбора сведений, которые невозможно быстро получить другим способом.

И здесь я увидела вторую его роль.

Он не заменял специалистов. Более того, часть информации потом приходилось проверять, а иногда и полностью перепроверять. Но он позволял начать движение там, где иначе приходилось бы ждать ответа от банка, учреждения, адвоката или кого-то ещё.

Он помогал собрать первую картину происходящего.

Пусть неполную. Пусть требующую проверки. Но картину.

И только потом наступил май.

Я начала возвращаться к своей обычной работе и обнаружила ещё одну неожиданную вещь.

Пока я занималась своей жизнью, изменился сам ландшафт инструментов.

За эти два месяца многие вещи словно пересобрались.

Я пробовала новые возможности Claude. Впервые всерьёз начала работать с Codex. Смотрела на инструменты уже не как пользователь, которому нужно решить конкретную задачу, а как человек, который строит с их помощью проекты и рабочие процессы.

И меня удивило не качество ответов. Не скорость. И даже не появление новых функций.

Меня удивило другое.

Ещё совсем недавно разные задачи были разложены по разным инструментам. Один помогал искать. Другой писать. Третий анализировать. Четвёртый программировать.

Сейчас я всё чаще сталкиваюсь с тем, что большая часть работы начинает собираться внутри одного пространства.

Не вся. Не всегда.

Но достаточно часто, чтобы это стало заметным.

Наверное, поэтому за время моего отсутствия изменилось не только многое в моей жизни.

Я увидела искусственный интеллект сразу в трёх разных ролях.

— как то, что не может заменить человека;

— как то, что может очень сильно помочь человеку;

— и как среду, которая меняется быстрее, чем мы успеваем это замечать.

С этого места мне и хочется продолжить разговор.