Блеск и нищета современности

🕰 Замедление и кроличьи норы 🕳

2026 претендует на то, чтобы стать годом, когда страшилки про автономный ИИ все-таки воплотятся в сети. С весны мы уже успели стать свидетелями нескольких случаев переноса релизов передовых моделей из соображений безопасности, а потом ещё и взломов различных платформ. Вся хронология событий тут.

📰 Сначала речь будто шла скорее о маркетинговой стратегии, но последние пару дней главы ИИ-компаний массово начали говорить о необходимости притормозить развитие моделей. Раньше такие заявления скорее свидетельствовали о догоняющем положении стороны. Другое дело, что сейчас уже мало кто даст пойти по такому пути. На повестке конкуренция США и КНР, а президент Трамп слишком много (даже по своим меркам) дал хвалебных комментариев об американском ИИ.

И на этом фоне особенно бросается в глаза то, на каком уровне понимания технологии находится на самом деле отрасль. В год, когда из всех рупоров кричат заветное слово «ИИ-агенты», специалисты по работе с цифровыми инструментами делают шаг назад и говорят, что на самом деле они пока не разобрались даже с тем, что делать с эффектом кроличьей норы при работе с LLM.

🔍 Если кратко, то речь про то, как пользователь, вне зависимости от его уровня экспертизы, затягивает себя в водоворот самоподтверждения. Согласие, заигрывание и вовлечение – вот те компоненты языковых моделей, которые превращают работу с моделями либо в процесс подтверждения мнения, либо в изощренную процедуру пользовательского сопротивления. Больше всего последствий от этого у уязвимых групп населения.

Интересно, что исследователь Хенк ван Эсс говорит, что во всем виновато обучение с подкреплением на основе человеческого опыта. Разработчики системно заложили, что правильно то, что соответствует нашему представлению о правильности и удовлетворяет наши потребности (объективные и субъективные). Нередко такое представление уже зашито в задаваемые запросы.

❔Вот и вопрос, можем ли мы в процессе работы с LLM быть уверенными, что уже не свалились в нору, и когда нужно остановиться. В исследовании выше выводы сделаны на основе скорее нетипичных примеров из области бытовой конспирологии. Но тем больше настораживает возможность того, что найденные закономерности более универсальны.

Получается, часть выводов о работе LLM мы можем узнать только эмпирически на самих себе. Вне таких наблюдений ИИ – тот же черный ящик. В коде не содержится ничего, что могло бы нам лучше рассказать о галлюцинациях и ошибках, которые мы воспроизводим сами. Вот и выходит, что если сначала все хотели снять с LLM фильтры и ограничители, чтобы общаться более естественно, то теперь, столкнувшись с этой "естественностью", повестка сменилась в сторону замедления и внутренних фильтров для защиты пользователей. А всего-то навсего мы сами себя в зеркало увидели (об этом см. тут).

Если тезисно, то самыми ценными аспектами книги являются:

1️⃣ Нетривиальный взгляд на цифровой статус-кво. Отмечается, что текущие исследования в целом слишком сосредоточены на отдельных разновидностях платформ (соцсети, маркетплейсы). При этом слишком мало внимания уделяется "инфраструктурной основе" всей мобильной экономики, а именно приложениям. Они в свою очередь функционируют на основе правил, норм и практик, созданных двумя гигантами – Apple и Google (т.е. на iOS и Android).

2️⃣ Работа очень гармонично двигается между техническими аспектами (из чего состоит приложение), операционной основой (связи между магазинами приложений, операционными системами и принципами обмена данными), экономической подоплёкой (рекламой и бизнес логикой Apple и Google), правовыми и этическими компонентами, а также общенаучными проблемами исследований приложений. К концу чтения складывается целостная картина цифрового развития последних 20 лет.

3️⃣ Центральная часть книги посвящена размышления о неполном или даже имитационном характере соблюдения существующих норм по защите данных (см. описание действий гигантов в ЕС). Другой обширный блок характеризует монополизм Apple и Google в контексте экономики, культуры и геополитики. А итоговый риторический вопрос: насколько доминирование двух компаний в сфере мобильных систем будет транслироваться в новые передовые сферы – ИИ и VR.

Итого, работа - пример интересного синтеза компьютерных наук (с внимание к принципам создания кода) и права.

🗣 Ну а в качестве послесловия я дам ссылку на один из TEDов этого года о том, как глобальная сеть продолжает эволюционировать. Глава одной ключевых интернет-компаний рассказывает как агенты "ломают" старый интернет и заставляют гигантов пересматривать бизнес. Где-то тезисы с книгой пересекаются, где-то идут уже дальше, к следующему, по всей видимости, (пост-App) этапу цифрового пространства.

🍂 Приложения, платформы и агенты 🍁

📚 Начало осени – это всегда своего рода новый год для преподавателя, когда хочется пожелать успехов в обучении и развитии и тем, кто отучился, и тем, кто продолжает эту стезю! Ну а так как, на самом деле, мы все живем в эпоху lifelong learning, то делиться знаниями не менее важно, чем самому их приобретать. К чему я всех искренне и призываю.

Ну а в продолжение этих философствований я рекомендую книгу своего коллеги, общение и обмен мнениями с которым я особо ценю. В начале года он опубликовал работу The App Economy (Экономика приложений). Всё летнее чтение у меня так или иначе было зациклено на работах по цифровым платформам. Собственно, и эта книга про "осмысление власти платформ в эпоху ИИ" пришлась очень кстати.

🎓 Всегда есть время для (само)образования 🕰

Как писал Сенека в своих Нравственных письмах к Луцилию, описывая "собирание книжной мудрости":

"Читать необходимо, во-первых, чтобы не довольствоваться одним собою, во-вторых, чтобы, узнав, какими вопросами занимались другие писатели, я мог судить как о том, что уже исследовано, так и о том, что остается исследовать"

А дальше продолжает:

"Не следует только писать или читать. Занимаясь исключительно писанием, мы истощаем свои силы; занимаясь одним чтением, мы можем рассеять свой ум"

Так вот, чтобы не впадать в крайности я, по обычаю, к концу лета успеваю где-нибудь прочитать одну-другую лекцию, а потом делюсь её материалами с теми, кто пополнил здешние ряды или не имел возможности присоединиться.
На этот раз лекции оказались совершенно разными по содержанию.

1️⃣ Первая пришлась на прошлую неделю и рассказывала про трансформацию платформенной экономики под натиском агентных ИИ. На эту же тему я надеюсь скоро добавить в канал ещё одну полезную книгу. Лекция была приурочена к традиционной Летней школе по управлению Интернетом, в этом году в сотрудничестве с МГИМО и Школой МИБ.

2️⃣ Вторая лекция продолжает добрую традицию Колаборатории проводить летние интенсивы по цифровым методам. Слушатели за 3 дня прошли путь от гипотез к данным и от данных к методам. И вот на середине этого пути я рассказал немного про типологию данных, а также про принципы их нормализации для работы с LLM.

✏️ Сохраняем, изучаем, делимся

📝 Три рекомендации лета 🏝

К началу августа я уже успел несколько отвыкнуть от своего канала. Так что надо наверстывать. Поэтому ниже сразу три открытия, которые я успел совершить с конца июня.

📓 Во-первых, это дочитанная книга Я. Варуфакиса "Технофеодализм". Тут нужно писать либо очень много, либо просто обозначить, что это важно. Как минимум, эта книга у меня будет теперь хорошим доказательством для первокурсников, почему иногда нет-нет, да и стоит почитать Маркса. Марксистская парадигма не только жива, но ещё и формирует оригинальные мысли.

Идея "облачной ренты" и "злых цифровых корпораций" лежит на поверхности уже не первый год, но то, как и в каком стиле Варуфакис подходит к раскрытию темы, делает книгу явно достойной чтения. Хотя бы для раскрытия экономической, а не только технологической подоплёки. Книга уже встала в один ряд "новой классики" про цифру. Отдельные цитаты см. ниже.

🗣 Во-вторых, это лекция "Естественные проблемы ИИ" для Ельцин-центра исследовательницы интернета Полины Колозариди о мифах и стереотипах цифрового пространства. Хороший взгляд цифрового антрополога на то, почему важно разговаривать о формах подачи цифровой реальности. А ещё полезно задуматься о том, насколько данные "даны" нам, а насколько избирательно "взяты" под контекст.

Кстати, любовь к неймингу роднит Колозариди как раз с Варуфакисом. Оба проявляют повышенное внимание к тому, как мы и что называем. Этому свидетельствует и цитата из "Технофеодализма".

Когда слово правильно определено, [оно помогает] нам понять некоторую конкретную реальность или конкретную цель, или метод деятельности. Прояснить мысль, дискредитировать по сути бессмысленные слова и определить использование других с помощью точного анализа — делать это, как бы странно это ни звучало, может быть способом спасения человеческих жизней
- Симона Вейль

🎙 Третья рекомендация – это пост из яндексовского сообщества "Технолоджия" про скам и фишинг сквозь века. После введения в ТГ маркдаун формата читается пост прекрасно и интересно. Кроме того, я начал слушать их же подкаст про техноновинки. В целом рекомендую. Вот так в одном посте объединились "облачные феодалы" и их критики.

P.S.: Данный "топ-3" составлен стихийно, т.к. состоит лишь из того, до чего я успел дотянуться за последнее время. Попадались мне и книги, которые не заслуживают внимания. Были и забавные новости, о которых можно порассуждать (обещание Маска ИИ-Одиссеи, а также история как журнал Time начал подстраивать свою рекламу под ИИ-агентов). Но я зарекался – никаких новостей до начала сентября.

📽 Что касается второго, творческого момента, то как понятно из прикладываемых медиафайлов речь идёт о саундтреке к "несуществующему фильму", да ещё и на физическом носителе. Картину "Пост правда" турецкого кинорежиссёра мне ещё не удалось посмотреть. В чём её особенности можно почитать здесь.

Но я не мог не поделиться остроумным решением прокатчиков, на которое я сам и попался – выпустить "настоящий саундтрек к искусственному документальному кино", записав его на винил (см. ниже). Да, это коммерция, зато с иронией. Пока фильм крутят только на кинофестивалях, надеюсь, удастся поделиться впечатлением о нём.

🏖 Ну а пока настраиваемся на летний режим. Впереди 2 месяца, в которые я стараюсь меньше читать новости и писать (в том числе и здесь) и больше уделять внимания книгам и творчеству. Чего и вам желаю!

💬 Кто о чем, а мы о постправде (и наступившем лете) ☀️

Безусловно, темой недели является директива правительства США об ограничении доступа к модели Fable 5/Mythos 5 от Anthropic. Получилась история, как в небезызвестном мультфильме: "Я вам [модель] принес, только я вам её не отдам". Время покажет, что более оправдано: страх проиграть в открытой гонке или страх выпустить "gamechanger" модель избыточно широкому кругу лиц.

➡️ А мы пока о своём. К концу академического года я хотел бы вернуться к открытой в феврале рубрике "Постправде – 10 лет". Повода минимум два: академический и творческий.

Во-первых, на Валдае вышла итоговая статья по проекту "Новое поколение", которую я не мог не приурочить к "бесконечной борьбе за здравый смысл". Уточню, что изначально она писалась на английском, поэтому и ссылку я прилагаю на эту версию, хотя есть и перевод.

Кроме того, был рад обнаружить, как на площадке получила продолжение тема искусственной визуальности. Мне особенно понравилась цитата из платоновского диалога, отсылающая к ранним формам страхов о снижении когнитивных способностей человека.

«…и тот, кто рассчитывает запечатлеть в письменах своё искусство и кто в свою очередь черпает его из письмен, потому что оно будто бы надёжно и прочно сохраняется там на будущее, – оба преисполнены простодушия»

🎙 Возвращаем рубрику "Что послушать"

К концу учебного года практически не остаётся времени что-то почитать (кроме студенческих работ), а остаётся только возможность что-то послушать. Люблю формат подкастов, поэтому, когда что-то дельное находится, я делюсь (см. тут, тут и тут).

На неделе наткнулся на "Послезавтра" от РБК с деканом экономического факультета МГУ Александром Аузаном. Если совсем конкретно, то меня зацепил выпуск про "цифровую тень", в котором очень лаконично и грамотно обобщаются текущие дебаты о моделях цифрового развития, общественного договора и платформенного капитализма.

Отмечается, что перемены уходят глубоко в природу экономических отношений, и происходят они по всему миру. На эту же тему уже есть книга Яниса Варуфакиса "Технофеодализм" (её я как раз пытаюсь параллельно освоить), с которой Александр Александрович вступает в дебаты.

Помимо этого развивается тема взаимодействия бизнеса, государства и общества, где большой след накладывает культура коммуникации, отношение к данным и управленческие приоритеты. Все это оказалось созвучно как прошедшим сегодня защитам моих студентов (поздравляю их с успешной защитой!), так и короткому выступлению на ХостОбзоре в конце мая.

Другие выпуски тоже цепляют своей спокойной манерой представления структурных вызовов, которые, несмотря на все сложности, всё ещё можно преодолеть. Так что рекомендую. Можно послушать, можно посмотреть.

🗞 Новый опыт и выводы 💬

Вместо того, чтобы писать посты в канале, в этом месяце я немного переключился на другую деятельность – комментарии в СМИ. Уж так совпало.

Формат интересный. Но каждый раз, когда ты пишешь/говоришь что-то для медиа, однозначно ты не знаешь, что произойдет с материалом. Иногда все остаётся точь-в-точь, иной раз контекст поменяет весь смысл. Иногда редактор все изменит, а иногда не исправит даже явных недочётов. Видимо, это они и есть – медиаэффекты.

Позавчера дело дошло даже до собственной колонки. Признаюсь, похоже это больше на научные тезисы, чем на комментарий для широкой публики. Но есть пара отрезков, которыми я бы поделился:

Мировое развитие в 2020-е годы отличается тем, что, еще не освоив достижения четвертой технологической революции, человечество уже движется к Индустрии 5.0. Ранее недостаточное осмысление прошлого опыта не раз приводило к крупным техногенным и социальным кризисам. Но нынешний этап опасен и тем, что опыт предыдущих технологических революций закрепил стремление государств к скоростному освоению научных новшеств, усиливая дисбаланс в мировой политике.

Показателен пример компании Palantir, демонстрирующей, как технологические компании начинают участвовать в формировании политической повестки. В своем недавнем «манифесте» Palantir призывает заменить традиционные системы сдерживания моделью управления на базе ИИ, элементы которого были проиллюстрированы во время операций США в Венесуэле и Иране. Зафиксированные в манифесте «пределы мягкой силы» отражают общий тренд превращения IT-мира в военный ресурс.

...в технологической сфере усиливается роль цифровой геополитики, вытесняющей логику глобализации 2000–2010-х. Однако ни длительность этой тенденции, ни конечное направление развития технологий не предопределены

Ну и немного самоиронии. Всегда перечитывайте спустя день то, что написали, а то потом получится: "Устойчивой считается лишь системная необходимость контролировать уязвимые элементы системы".

✍ Зато точно не ИИ.

👆 Оригинальная и ироничная обложка к поздней версии издания эссе

✔️ Об аутентичности и воспроизводимости 📰

Проверка студенческих работ под конец семестра совпала в этом году у меня с насущными размышлениями о проблемах аутентичности. Я бы мог написать про то, как поверхностное использование LLM в работах активно подменяет авторов. Но это привело бы либо к пессимизму, либо к аллармизму. Поэтому лучше сконцентрируюсь на чем-то более фундаментальном.

📓 В частности, задумавшись о подлинности чего-либо, я вспомнил работу В. Беньямина "Произведение искусства в эпоху его технической воспроизводимости". Беньямин подчеркивает, что тиражируемость фундаментально меняет роль искусства и результатов творчества. Они теряют свою сакральность, связь с контекстом, а происхождение предмета (провенанс) становится вторичным.

Для современной эпохи ситуация выглядит в чем-то драматичнее, чем для описанных у Беньямина 1930-х гг. Прежде всего граница между подлинным и вымышленным размывается, т.к. это уже не воспроизведение существующего, а генерация несуществующего, но правдоподобного.

И поскольку визуально отличить созданное человеком от сгенерированного машиной становится все труднее, возникает потребность в "цифровом провенансе" (см. водяные знаки, крипто-подписи, маркировки). Иначе говоря, порожденная классическими и социальными медиа тиражируемость не убила, а наоборот, вернула социальную потребность на маркеры аутентичности.

Кстати, Эрик Хорвиц, главный научный сотрудник Microsoft, также предупреждает о риске перехода в "постэпистемический мир", где факты невозможно будет отличить от вымысла без человекоориентированных инструментов определения источника. И в этом смысле, если у Беньямина утрата источника приводила к демократизации искусства и политизации масс, сегодня отсутствие инструментов цифрового провенанса может привести лишь к цифровому беспорядку и поляризации.

📍 Но это я увлекся. Вывод скорее таков: страх утраты аутентичности не новый и мы уже с ним сталкивались. Первым компонентом его была массовая воспроизводимость. Цифра, видимо, тоже проходит этот цикл, но уже на новом уровне абстракции. И тут важно лишь не упустить момент контроля над тем, что мы читаем, и что мы (вос)производим.

В качестве итога и послесловия цитата из упомянутого эссе В. Беньямина:

...задачи, которые ставят перед человеческим восприятием переломные исторические эпохи, вообще не могут быть решены на пути чистой оптики [...]. С ними можно справиться постепенно, опираясь на тактильное восприятие, через привыкание.

🏛 Эрмитаж ИИ Ночь музеев 🌙
Необычный анонс

Как некоторые, возможно, знают, музейный сотрудник – моё альтер-эго. Я часто ищу способы объединить две работы, которые на первый взгляд кажутся разными. В этом году на Ночь музеев как раз появилась такая возможность, чему я очень рад!

16 мая я выступлю в Главном штабе Государственного Эрмитажа с лекцией "ИИсследуем экспонаты: Как разгадать музейную тайну с помощью больших языковых моделей".

Лекция планируется в 2 частях, и посвящена она поиску и анализу текстовой информации с помощью LLM. В качестве примера для изучения я взял главную героиню выставки "Музейный детектив", которую также можно будет посетить в Главном штабе.

🔍 Мы с коллегами готовим большую программу к Ночи музеев. Ключевая тема - музейные тайны. Планируются квесты, кинопоказы, музыка, а ещё будет захватывающий батл о старых и новых медиа.

Бесплатные билеты на Ночь музеев появятся на официальном сайте в ближайшее время. Следите, пишите. Буду рад всех видеть!

Фото: Виктория Кальватоне, Эрмитаж