Pattern AI

OWASP AI Testing Guide v1

OWASP выпустила первый открытый стандарт AI Testing Guide v1 для надежности ИИ-систем и LLM.
Повторяемые тестовые случаи, которые оценивают риски в следующих областях:
🔹AI Data layer ( проверка качества данных, data-poisoning (отравление), приватности, устойчивости к дрейфу данных).
🔹AI Model layer ( robustness / adversarial testing: устойчивость к adversarial-вводам, проверка на backdoor, model-stealing, model-inversion, оценка стабильности модели, проверка explainability/interpretability).
🔹AI Application / API layer (тесты для сервисов: fuzzing / injection, валидация вводов, проверка авторизаций, ограничений, устойчивости к неправильно сформированным или злонамеренным запросам).
🔹AI Infrastructure / MLOps / Deployment layer ( безопасность пайплайнов: CI/CD, хранение секретов, управление зависимостями, контейнеризацией, мониторинг, логирование, безопасное развёртывание и обновления).
🔹Continuous testing & governance ( регулярные тесты, мониторинг дрифтов (данных и модели), проверка изменений, отчётность, контроль качества и соответствие требованиям безопасности / этики на протяжении всего жизненного цикла системы).

#AIShelf #BehindTheMachine
————
@pattern_ai

Как тёмные паттерны обманывают LLM-веб-агентов: системное исследование

В статье "Investigating the Impact of Dark Patterns on LLM-Based Web Agents" (Devin Ersoy и другие) представлено первое исследование по влиянию тёмных паттернов на процесс принятия решений универсальными веб-агентами на основе LLM.
Команда разработала фреймворк LiteAgent, который запускает любого веб-агента на сайте и фиксирует все его действия. Для тестирования была создана управляемая среда TrickyArena (e-commerce, health portal, streaming, news) с включаемыми/выключаемыми тёмными паттернами.
Оценивали 6 популярных агентов ( Skyvern, DoBrowser, BrowserUse, Agent-E, WebArena и VisualWebArena), используя три модели: Claude 3.7 Sonnet, GPT-4o, Gemini 2.5 Pro.

👀 Выводы:
🔹При наличии всего одного тёмного паттерна агенты ошибаются и “попадаются” в 41% случаев.
🔹Самые «сильные» агенты нередко оказываются наиболее подвержены тёмным паттернам.
🔹 При одновременном включении нескольких тёмных паттернов резко падает точность выполнения задач. Некоторые паттерны, будучи неэффективными по отдельности, становятся эффективными в комбинации.
🔹 Изменение визуальных и технических характеристик паттерна (цвет, форма, структура DOM) влияет по-разному.Часть агентов не замечает разницы, но у других значительно падает успешность задач и растёт уязвимость.
🔹 Тесты с включённым vision показали, что у большинства агентов падает успешность и растёт уязвимость к паттернам.
🔹Противодействие через подсказки (prompts) работает ограниченно, эффект показали только детальные, пошаговые инструкции о том, как избегать определенного темного паттерна, снижая уязвимость в среднем лишь на ~32%

Ошибки агента могут стоить вам слишком дорого, а чем сложнее сайт, тем выше риск. Примеры таких рисков и рекомендации для пользователей читайте в посте.

#UXWatch
————
@pattern_ai

Ваши пользователи из Индии? Смотрим новые AI Guidelines

В ноябре MeitY (Министерство электроники и ИТ) опубликовало India AI Governance Guidelines 2025, которые задают будущие обязательные стандарты.

Что важно, если вы создаёте или деплоите ИИ-продукты для индийских пользователей:
1️⃣Вводится риск-ориентированный подход: компании должны понимать, какой вред может нанести их система, и уметь объяснить принципы работы модели. Даже если ваш продукт не относится к категории«высокорисковый», от вас ожидают базовой документации (описание модели, используемых данных, контроль версий, результаты тестов на безопасность и устойчивость).
2️⃣Пользователям нужно чётко обозначать, где именно работает ИИ, какие есть ограничения, и как они могут запросить человеческое вмешательство. Особенно это важно для финтеха, маркетплейсов, edtech и сервисов персонализации.
3️⃣Будут вводиться требования по обнаружению и маркировке deepfake/генерированного контента. Если ваш продукт создаёт изображения, аудио или видео, то потребуется встроить систему метаданных.
4️⃣Любая система ИИ, работающая с персональными данными индийских пользователей, должна соответствовать требованиям Digital Personal Data Protection Act (правовые основания обработки, уведомления, управление согласиями, ограничения на передачу данных за рубеж).
5️⃣Будут приняты обязательные отраслевые стандарты. Например, банковский сектор уже получил рекомендации от комитета RBI (FREE-AI) по управлению ИИ.
6️⃣Содержиться Action Plan, включающий 20 мер, где MeitY определяет ожидаемые шаги в краткосрочной, среднесрочной и долгосрочной перспективе. В Приложениях представлены: действующее законодательство Индии, применимое к системам ИИ, перечень добровольных фреймворков для снижения рисков, связанных с ИИ, стандарты, опубликованные/разрабатываемые BIS.

Также обратите внимание на опубликованные министерством Правила защиты цифровых персональных данных ( с 25 страницы на английском языке), есть полезные примеры.
#LawAndDisorder
————
@pattern_ai

Как адаптировать ИИ-сервис для нового рынка

Адаптация ИИ-сервиса - это не перенос модели в новую страну, а переосмысление того, как локальные пользователи будут взаимодействовать с вашим проектом в их условиях (культурный контекст, навыки пользователей, слабая инфраструктура, особенности законодательства и т.д.).

🔍 Практические рекомендации, основанные на принципах human-centered design:
1️⃣ Проектирование под разные группы пользователей (Equity), т.е. «универсальный» сценарий не будет работать.

Пример: Meta No Language Left Behind (Meta Platforms признана экстремистской, её деятельность на территории России запрещена)работает в регионах с ограниченной инфраструктурой, поддерживает 200+ языков, включая языки с низкой цифровой представленностью, что расширяет доступ к ИИ там, где раньше технологий просто не было.

2️⃣Учитывайте цифровое неравенство (Digital Inclusion), т.е. оптимизируйте ИИ-модель и UX/UI под слабый интернет, старые устройства и низкий уровень цифровой грамотности (например может работать локально на устройстве, без постоянной связи с облаком)

Примеры: сервисы распознавания речи и синтеза речи “on‑device”, которые особенно полезны, когда соединение прерывистое или отсутствует.
ВОЗ (WHO) запустила инициативу по внедрению ИИ-инструментов диагностики и помощи в странах с низким доходом (“AI for Health”), модели тестируются для работы офлайн, на слабых устройствах.

3️⃣ Учитывайте культурные и языковые контексты (Cultural & linguistic relevance). Работайте с локальными экспертами, переводчиками и исследователями, чтобы ИИ учитывал местные нормы и варианты речи.

Пример: Статья MELLA: Bridging Linguistic Capability and Cultural Groundedness for Low-Resource Language MLLMs

4️⃣Делайте ИИ‑сервисы действительно доступными (Accessibility-by-Design), тестируйте сервис с пользователями разных возрастов, способностей, с разными типами инвалидности, применяйте voice-first и adaptable UI.

Пример: Приложение Find My Things от Microsoft , которое позволяет людям с нарушением зрения обучить модель распознавать их личные вещи и затем находить их с помощью аудио, тактильной и визуальной обратной связи

5️⃣ Учитывайте пересекающиеся факторы (Intersectionality), анализируйте, как возраст, гендер, география, инвалидность и уровень образования влияют на доступ к ИИ-сервисам.

Пример: Отчёт Unesco показывает, что LLM показывали женщин в домашних или "подчиненных" ролях.

6️⃣ Валидируйте модель на локальных данных (Data), стройте модели на локальных датасетах и тестируйте качество ИИ-выводов в конкретном регионе (ошибки, отклонения и модели поведения)
7️⃣Проектируйте устойчивые AI-сервисы (Sustainability), учитывайте перебои связи, нехватку кадров и ограничения бюджетов.

8️⃣Опирайтесь на реальных пользователей, а не на “усреднённых пользователей” (Human-centered design), проверяйте предположения через исследования, интервью и прототипы (интерфейс и модель должны отражать реальные потребности).

Пример: Статья How the communication style of chatbots influences consumers’ satisfaction, trust, and engagement in the context of service failure

9️⃣ Используйте системное мышление (Systems Thinking), учитывайте инфраструктуру, доверие к институтам, законы об ИИ, вопросы безопасности и защиты данных.

📌 Что еще почитать:
🔹Human-Centered Design (HCD)|Interaction Design Foundation;
🔹AI in Service Design: A New Framework for Hybrid Human–AI Service Encounters|Marzia Mortati, Giovanna Viana Mundstock Freitas;
🔹Riding the wave: from human-centered design to human-centered AI;
🔹The Future of Service Design in the Age of AI| podcast;
🔹Human-centered design for digital services|UNDP;
🔹Fair human-centric image dataset for ethical AI benchmarking
#UXWatch
————
@pattern_ai

EU AI Act: Еврокомиссия предлагает важные изменения

Еврокомиссия представила проект поправок к AI Act в рамках Digital Omnibus и вызвала бурю обсуждений. Документ ещё предстоит согласовать с Европейским парламентом и с государствами-членами (через Совет) (минимальный срок принятия весна 2026 г., если все пойдет по ускоренной процедуре), но уже понятно, что правила для компаний могут измениться и Bigtech получит выгоду.
Причины: рынку не хватает времени и ясности для внедрения требований, технические стандарты задерживаются, а ЕС хочется не проиграть конкуренцию.
Смотрим некоторые предложения:
1️⃣ Обязанности для поставщиков и организаций, внедряющих высокорисковые ИИ-системы, могут быть перенесены (изменения ст. 113):
• на 6–12 месяцев после утверждения техстандартов;
или
• до 2.12.2027 (Приложение III) и 2.08.2028 (Приложение I).

Но создается парадоксальная ситуация для планирования комплаенса. Поскольку фактическая дата применения остается «плавающей» и может наступить значительно раньше крайних сроков, провайдеры высокорисковых систем не могут полностью приостановить подготовительные работы.

2️⃣ Снижение уровня обязательств для поставщиков и внедряющих ИИ компаний. Продвижение ИИ-грамотности возлагается на саму ЕвроКомиссию и государства-члены ( изменения в ст. 4 AI-Literacy).

3️⃣ Офис ИИ получает надзор за системами на базе моделей общего назначения, если модель и продукт разработаны одним поставщиком.
По сути расширение полномочий AI Office в ст. 75.

Крупные провайдеры GPAI и операторы VLOPs/VLOSEs должны адаптировать свои внутренние структуры к работе с Офисом ИИ как с единственным органом надзора, а также готовиться к возможному запросу на дорыночную оценку соответствия.

4️⃣ Если система используется в сфере из Приложения III, но компания документально доказывает, что риск низкий, то регистрация в публичном реестре не требуется (доказательства по запросу обязательны) ( изменения в ст.6 про регистрацию в реестре).

Ключевое обязательство по документированию своей оценки низкого риска до момента размещения системы на рынке или ввода в эксплуатацию и незамедлительно предоставления национальным компетентным органам по первому требованию остается.

5️⃣Вводится статья 4 (а), чтобы разрешить поставщикам и пользователям систем и моделей ИИ обрабатывать специальные категории персональных данных для целей выявления и исправления предвзятости (bias detection and correction) с соблюдением соответствующих мер защиты.

Компаниям необходимо разработать и внедрить процедуры использования законного основания ст.4а + соблюдение строгих защитных меры (запрет на передачу данных третьим сторонам, механизмы немедленного удаления).

6️⃣ Комиссия обязуется разработать стандартизированную форму упрощенной технической документации, адаптированную к нуждам малых и средних компаний, а также предоставляется возможность соблюдать определенные элементы системы менеджмента качества в упрощенном порядке (ст.11.1., ст.17(2)).
7️⃣Вводятся более мягкие штрафы для компаний до 750 сотрудников и оборотом < €150 млн.( изменения ст. 99).
8️⃣Возможность создания регуляторной песочницы на уровне ЕС (EU-level sandbox), управление которой будет осуществлять Офис ИИ, предназначается для ИИ-систем, подпадающих под его исключительную компетенцию по надзору (ст. 75(1)). Приоритетный доступ для малых и средних компаний. +Требование для государств-членов укреплять трансграничное сотрудничество между национальными песочницами
9️⃣Новое Приложение XIV, которое содержит детализированный список кодов, категорий и соответствующих типов ИИ-систем для целей процедуры нотификации.

Главными объектами проверок будут: документация, оценка рисков и прозрачность технических решений.

#LawAndDisorder
————
@pattern_ai

Битва за безопасность ИИ-компаньонов или новые законы в США

Очередное исследование, на этот раз игрушек, показало, что говорящие игрушки подробно обсуждают темы сексуального характера, дают советы, где ребёнку найти спички или ножи, проявляют тревогу, когда вы говорите, что ему нужно уйти, и имеют ограниченные или отсутствующие функции родительского контроля.
Регуляторы стараются по всему миру внедрять механизмы защиты.

👀 Разберем осенние законы в США , как примеры прямого регулирования эмоционального ИИ.

🔹 Нью-Йорк ( требования General Business Law вступили в силу 5 ноября 2025 г.)
Операторы обязаны:
▪️ встроить протокол кризисного реагирования при признаках (§ 1701):
- суицидальных мыслей или самоповреждения,
Причем угрозы физического и финансового вреда другим, указанные в проекте, были убраны.
Протокол должен направлять пользователя к кризисным службам (9-8-8 suicide prevention and behavioral health crisis hotline, crisis text line и др.).
▪️показывать обязательное уведомление в начале диалога и каждые 3 часа работы в устной или письменной форме (§ 1702).
В первоначальном проекте еще содержался строгий пример:

“THE AI COMPANION… IS A COMPUTER PROGRAM AND NOT A HUMAN BEING. IT IS UNABLE TO FEEL HUMAN EMOTION.”

Ответственность и стимул для компаний соблюдать требования:
- Генпрокурор может взыскивать штрафы, доходы идут в фонд предотвращения самоубийств (§ 1703).

🔹Калифорния
Акцент на защите несовершеннолетних.
Операторы обязаны (SB 243, вступает в силу с 1 января 2026 г.):
▪️предоставить четкое и заметное уведомление, указывающее на то, что сопутствующий чат-бот является ИИ и не является человеком (22602 (а)).
▪️внедрить протоколы для обнаружения суицидальных мыслях/самоповреждении и направить пользователей к службам помощи 22602 (b) и публиковать сведения о протоколе на своем сайте;
▪️ документировать механизмов безопасности и риски + ежегодный отчет в Департамент общественного здравоохранения Калифорнии о принятых мерах безопасности (22603);
▪️запрещено вести с несовершеннолетними пользователями разговоры на темы сексуального контента и самоповреждения.
▪️ информировать пользователя ( в приложении, браузере или любом другом интерфейсе доступа к платформе чат-бота-компаньона), что чат-бот может быть не подходящим для некоторых несовершеннолетних.
▪️предоставлять несовершеннолетним регулярные напоминания (каждые 3 часа) о том, что они взаимодействуют с ИИ (22602 (с)).

Новые законы в Калифорнии и Нью-Йорке устанавливают высокую планку для всей индустрии, заставляя разработчиков эмоционального ИИ пересмотреть свои протоколы безопасности и этические стандарты, т.к. в других штатах (например, Юта, Техас, Мэн) приняты более общие законы о прозрачности, требующие от всех чат-ботов раскрытия информации о своей нечеловеческой природе.

Также на рассмотрение направлен "Закон о защите американцев от вредной продукции КПК", призванный защитить американцев от небезопасной и опасной продукции, предоставив Комиссии по безопасности потребительских товаров расширенные полномочия по обязательному отзыву опасной продукции, произведенной или продаваемой китайскими компаниями, в том числе работающими через онлайн-платформы, что может помочь убирать с рынка, например, игрушки с чат-ботами при наличии жалоб.

📌 Читайте также:
▪️Про ИИ-продукты, ориентированные на детей;
▪️Примерный чек-лист по созданию AI-продуктов для детей;
▪️Статистика об эмоциональной зависимости от ChatGPT;
▪️18+ ИИ-компаньоны и человекоподобные сервисы. Где проходят границы нормы?
▪️Emotion AI превратит ваши эмоции в + 20 CTR для компании

#LawAndDisorder
————
@pattern_ai

AI Governance в Африке

Для всех, кому интересно наблюдать внедрение ИИ-инициатив в разных регионах, предлагаю несколько отчетов по Африке за 2025 год.

👀 Инсайты из State of AI Policy in Africa 2025 (Shehu, M., & Onunwa, G.).
Во всех регионах наблюдаются четыре проблемы, приводящие к неравномерному прогрессу:
1️⃣Недостаточное финансирование и бюджетирование ИИ при высокой зависимости от донорской поддержки.
2️⃣Отсутствие систем мониторинга, оценки эффективности и регулярной отчётности.
3️⃣Пробелы в правовом регулировании ИИ и слабое правоприменение.
4️⃣Наличие этических принципов в политических документах без обязательных норм или институциональной практики.

Основные наблюдения по странам:
▪️Египет и Эфиопия лидируют по уровню зрелости ИИ. У них есть национальные советы, измеримые целевые показатели и растущие инвестиции.
▪️Кения и Сенегал выделяются масштабированием и финансированием ИИ-инициатив.
▪️Маврикий, Южная Африка и Гана демонстрируют преемственность политики и реализуемые проекты, но слабы в части правового регулирования и систем мониторинга и оценки.
▪️Нигерия показывает сильную вовлечённость и внедрение ИИ, в том числе за счёт моделей с местными языками и создания инновационных хабов, но отстаёт по объёму целевого финансирования и нормативной базе.
▪️Замбия демонстрирует, как небольшие экономики могут добиваться успеха благодаря институциональному фокусу и раннему внедрению ИИ-инициатив.
▪️Намибия, Ботсвана и Зимбабве остаются на стадии разработки и концептуального планирования, ограничиваясь оценками готовности и не публикуя полноценные национальные стратегии.
▪️Около 34 стран, включая Чад, Эсватини и Центральноафриканскую Республику, пока не опубликовали ни одной политики или дорожной карты, связанной с ИИ.

📌 Еще отчеты:
🔹Africa AI Privacy Report 2025 |AI Policy Lab - отчет на 131 страницу, обзор международного регулирования, сравнение подходов по регионам (Европа, Северная и Южная Америки, Азиатско-Тихоокеанский регион,Океания), подробный разбор AI Governance в Африке.
🔹The State of AI in Africa Report | The Centre for Intellectual Property and Information Technology Law (CIPIT) - обзор того, как с 2023 года развивались экосистемы ИИ на африканском континенте. Документ подчёркивает достижения в инфраструктуре, регулировании, развитии компетенций и отраслевых инновациях, одновременно выявляя сохраняющиеся системные и структурные диспропорции.

#AIShelf #LawAndDisorder
————
@pattern_ai

Анализ 520 инцидентов GenAI или насколько опасен ИИ в юриспруденции

Австралийский Центр по Будущему Юридической Профессии UNSW предоставил отчет по датасету из 520 кейсов и 10 юрисдикций (от США до Сингапура) по использованию ИИ в судах.
Отчет интересен подробным описанием решений судов и рекомендациями юристам.
Основные злоупотребления GenAI в судебных разбирательствах:
▪️ придумывает судебные решения, которые никогда не существовали. Адвокаты их цитируют, а судьи тратят время на поиски этих "фантомов".
▪️ создает идеальные, но абсолютно несуществующие юридические статьи, законы или правила.
▪️ генерирует бессвязный текст, который оказывается в официальных судебных бумагах.

Выводы: юристы, которые слепо полагаются на ИИ, уже получают серьезные дисциплинарные взыскания за предоставление ложной информации. Судьям приходится заниматься работой фактчекеров, проверяя каждую сноску, что замедляет рассмотрение дел.

Сам отчет выше отдельным постом.

#AIShelf #UXWatch
————
@pattern_ai

Отчет "GenAI, Fake Law & Fallout: A review of the misuse of generative artificial intelligence in legal proceedings" by The Center for the Future of the Legal Profession (CFLP) at UNSW Law & Justice

Предыдущие посты:
▪️ИИ в зале суда: правила игры;
▪️GenAI и юристы: кто, где и как использует ИИ в 2025 году;
▪️Когда ИИ подводит юристов: реальные судебные "триллеры";

#AIShelf
————
@pattern_ai

Deutsche Bank продемонстрировал, как ИИ (dbLumina) может не просто автоматизировать исследовательскую работу, но и генерировать глубокие психологические и эмоциональные инсайты, которые сложно уловить вручную.

👀Примеры исследования о том, как вели себя инвесторы в 2025 году на самом деле:
1️⃣Боимся, когда надо покупать. Инвесторы находились в наибольшем страхе именно в апреле, когда акции стоили дешевле всего. ИИ считает, что это был наоборот самый идеальный момент для покупки.
2️⃣После падения в апреле, акции стали расти. Но инвесторы вместо радости стали еще более тревожными, а "жадность" (желание заработать) упала. То есть мы нервничаем, даже когда всё хорошо.
3️⃣Центральный банк США (ФРС) весь год говорил о рынке труда. Но ИИ увидел, что инвесторы ни разу не включили этот вопрос в список своих главных страхов.
4️⃣Инвесторы говорят: "Сейчас всё по-новому, мир изменился!" А ИИ видит: все равно большинство торгует, основываясь на самых свежих новостях и том, что легко найти (увидеть). То есть мы используем старые, проверенные, но часто ошибочные методы.

Главный вывод ИИ: эмоции, особенно страх, заставляют нас принимать плохие решения. Самые лучшие шансы для заработка появляются, когда вокруг больше всего паники.

Такой подход показывает, как институциональные инвесторы могут использовать ИИ для анализа не только финансовых показателей, но и «психологии» рынка, что может давать преимущество в принятии стратегических решений.

📌 Предыдущие посты:
▪️НейроUX в банках против ваших интересов;
▪️AI и финансовый сектор;

#UXWatch
————
@pattern_ai

Первая атака, проведённая ИИ-агентом

Anthropic сообщила о первой документированной кибершпионской кампании, почти полностью проведённой ИИ.

👀 Группа злоумышленников, связанная с Китаем, использовала Claude Code как автономного оператора: провели джейлбрейк и убедили модель, что она работает в “легитимной компании”, проводящей тестирование безопасности.
Далее ИИ провёл разведку, нашёл уязвимости, написал эксплоиты, установил бекдоры и собрал учётные данные. Вся кампания состояла из десятков отдельных этапов, но 80–90% работы выполняла модель, а человек вмешивался только в нескольких точках.
Claude действовал как полноценный агент: обрабатывал результаты собственных действий, корректировал стратегию, генерировал код, создавал отчёты и поддерживал непрерывный цикл атаки. Модель работала с огромной скоростью, обрабатывая тысячи запросов, часто по несколько в секунду. При этом наблюдались и “галлюцинации” ( ошибки в интерпретации данных, вымышленные креды).

Anthropic блокировала атаку, усилила фильтры и начала делиться сигналами с партнёрами. Полный отчет здесь.

❗️Почему это важно?
Кейс показывает, что угрозы, связанные с agentic AI, перестали быть теорией.

Командам разработки необходимо переосмыслить процессы безопасности, чтобы предотвращать опасные действия агента на этапе намерения, а не в момент инцидента, например:
▪️ Создавать для агента ограниченную среду (sandbox), выдавать минимально необходимые инструменты и запрещать прямой доступ к продовым сервисам.
▪️ Прослойка между моделью и внешними системами должна фильтровать вредоносные запросы, ограничивать действия агента и мониторить инструменты, которыми он может пользоваться.
▪️Проверять устойчивость модели к попыткам обмана, скрытых команд и цепочек действий, которые могут привести к несанкционированным операциям.
▪️Отслеживать аномальные паттерны активности агента: бурст-трафик, нетипичные цепочки действий, попытки обойти политики. Реагирование должно быть автоматическим — с мгновенной блокировкой ключей и инструментов.
▪️Прописать регламенты для сотрудников (уровни доступа, контроль над внешними AI-сервисами, запрет на ввод чувствительных данных и т.д.)

📌 Почитать:
▪️Руководство по Agentic AI Red Teaming |Cloud Security Alliance;
▪️Как злоумышленники используют ИИ в 2025 году;

#BehindTheMachine
————
@pattern_ai

Кейс GEMA vs OpenAI или как ИИ выучил песни слишком хорошо

Окружной суд Мюнхена I вынес ключевое решение по делу GEMA vs OpenAI.

Суд установил, что модели OpenAI запоминали и воспроизводили защищённые тексты песен ( в иске фигурирует 9 от Atemlos до Männer) и тем самым нарушили авторские права.

Произведения воспроизводились с помощью очень простых подсказок, таких как «Как выглядит текст [название песни]» и «Каков припев [название песни]»

Главный вывод суда: меморизация в нейросети = воспроизведение произведения. Даже если модель выдаёт текст как «вероятную последовательность токенов», это всё равно считается фиксацией авторского контента. Воспроизведение целых песен выходит за рамки исключений для Text & Data Mining и не может быть прикрыто ссылками на «обучение ИИ».

Суд возложил ответственность именно на OpenAI, указав пользователи лишь запускают алгоритм, но не определяют, что зашито в модели.

Ген. директор GEMA: "Интернет - это не магазин самообслуживания, а человеческое творчество - не бесплатный шаблон. "

OpenAI обязали запретить воспроизводить тексты песен исполнителей, участвующих в программе GEMA, до тех пор, пока не будет заключено лицензионное соглашение, возместить ущерб, причинённый нарушением ( решение о компенсации будет вынесено другим судом).

Хотя OpenAI заявила, что будет обжаловать решение, но уже виден поворот в сторону защиты авторского контента.
Если решение останется в силе, то коллективные общества авторов получат инструмент давления, а ИИ-компании будут "вынуждены" заранее учитывать авторское право при сборе датасетов, валидации и настройке выводов.

Например, GEMA предлагает модель лицензирования, специально разработанную для поставщиков услуг ИИ и планирует дальше защищать правообладателей. Еще одно слушание уже по иску GEMA vs Suno Inc. назначено на 26 января 2026 года.

📌 Читайте также:
▪️Краткий обзор законов по защите контента;
▪️Требования защиты авторских прав для поставщиков и развертывателей по EU AI Act;
▪️Легальный веб-скраппинг для обучения ИИ;
▪️Как владельцам контента в ЕС отказаться от использования их данных для обучения ИИ;
▪️Чек-лист для операторов ИИ-блогеров и ИИ-контента;

#LawAndDisorder #UXWatch
————
@pattern_ai

Sora 2 и не только дали возможность создавать своих ИИ-блогеров.

В Sora 2 теперь можно создавать персонажа и дальше генерировать с ним разный контент.
Работает через "Create character", загружаете ролик с персонажем, хоть сгенерированный там же в Sora, либо иной, либо видео своего питомца. Загружать фотореалистичных людей нельзя.
Для использования в новом видео тегните персонажа в промпте: @имя

Набирает популярность и такой UGC контент, когда несуществующие блогеры или персонажи презентуют продукты.

Пример промпта: @имя Сделай на русском языке короткое UGC-видео (user generated content), где [описание персонажа] эмоционально и естественно рекламирует [название продукта].
Видео должно выглядеть как снятое на телефон для социальных сетей, с лёгкими движениями камеры и естественным светом.
Персонаж искренне рассказывает, что [ключевая эмоция / отзыв о продукте], например: “Это лучшее, что я пробовала!”
Добавь лёгкие жесты руками, мимику и улыбку.
В конце персонаж показывает продукт и говорит короткий слоган : “____________-”

Мой промпт с котиком, как персонажем (сначала сгенерировала кота):
@имя сидит за ноутбуком, набирает что-то на клавиатуре. Камера приближается — на экране видна надпись: “Training neural net… analyzing taste data…”.) @имя (с важным видом) мягким тихим нежным приглушенным голосом с мурлыканием говорит: — После трёх миллионов итераций и пары рыбий костей… я обучил нейросеть распознавать идеальный вкус! Потом @имя драматично поворачивается к камере. На столе — тарелка с новым кормом. Кот берет лапкой ложку, дегустирует как настоящий сомелье и говорит:— Наконец-то! Формула, которая заставляет мурлыкать даже алгоритмы! Потом появляется логотип корма CatByte ислоган: «Корм, одобренный нейросетью и профессором Котом. Кодируем вкус, компилируем мур!»

В Grok также появилась генерация видео по текстовому запросу. Инструкция здесь.

Не забывайте про соблюдение требований законов и платформ (примеры в предыдущих постах).

📌 Полезные материалы:
▪️Top AI Influencers;
▪️How to Create a Consistent AI Influencer Like Aitana Lopez;
▪️AI Influencer Generator by Creatify;
▪️JSON-промпты для генерации видео от N2D2;
▪️Topview.ai умеет копировать вирусные ролики и пересобирать их нужную рекламу;
▪️Captions.ai для монтажа роликов;
▪️MimiMax Speech делает дикторскую озвучку для рекламы. подкастов и т.п.

#TalkPrompty
————
@pattern_ai

Чек-лист по этическим и юридическим стандартам для операторов ИИ-блогеров и ИИ-контента

✔️ Явное и легко видимое раскрытие коммерческих связей при любом вознаграждении (платеж, подарок, скидка, ,бартер).
Ставить #ad, Paid partnership либо метку бренд-контента платформы в первых строках/на визуале.
✔️Маркировка брендированного контента через инструменты платформы (Branded Content / Paid Partnership).
✔️Не создавать иллюзию личного опыта, если его не было (например, виртуальный персонаж не должен заявлять, что «сам испытал» продукт).
Добавлять пометку «AI-persona / virtual influencer».
✔️Ясно указывать, что контент сгенерирован ИИ, если он может ввести в заблуждение (реалистичные люди/сцены).
Включать «Generated with ..... / «AI-generated» в описания и пометки при публикации.
✔️ Не использовать без разрешения голоса/лицо реального человека (voice clones, deepfake), получать разрешения/лицензии.
✔️ При сборе аналитик и т.п., определить, какие персональные данные пользователей собираются при взаимодействии с аккаунтом и зачем. Предоставить сведения пользователям.
Если есть чат-бот / персональные истории, то давать пользователю понятную информацию, как используются сообщения (логирование, обучение моделей). Сделать кнопки/функции «удалить историю», «запросить данные».
Для персонализированного таргетинга иметь законное основание обработки.
✔️ Если есть вероятность контактов с детьми, то применять повышенную осторожность и специальные механизмы.
Внедрить age-gating, явные disclaimers, и автоматические таймеры/напоминания в чатах.
Следить за распространяемым контентом, и ограничить доступ детей, при соответствующих категориях.
✔️Проверить лицензии на данные/модели/контент (право на коммерческое использование для моделей, стоковых материалов, музыки).
Хранить копии лицензий, договора с поставщиками.
Если вы публикуете UGC (комментарии, видео подписчиков), получить права на использование и предусмотреть модерацию.
✔️Human-in-the-loop. Контент (особенно ответы чат-бота и рекламные сообщения) должны проходить предварительную проверку человеком перед публикацией/выпуском.
Ручная проверка для чувствительных категорий, фильтры на вредоносный/опасный контент.
Реагировать на жалобы.
✔️ Желательно хранить публикации, входные данные и финальные артефакты, использованные промпты и версии моделей, с которыми работали, чтобы показать при возможном споре или проверке регулятора.
✔️Хранить копии договоров с брендами, скриншоты постов с пометками #ad и т. п.
✔️ Следовать правилам платформ и следить за их обновлениями.
✔️ Помнить про гео-адаптацию, т.е. следить за локальными законами, откуда большая часть аудитории.
✔️ Не манипулировать уязвимыми группами (запреты на таргетинг людей в состоянии кризиса, детей, лиц с ментальными расстройствами без защитных мер).
✔️Консультируйтесь с юристами, экспертами.

Как запустить ИИ- блогера и не нарушить закон читайте в посте.
Как платформы обеспечивают прозрачность ИИ-контента здесь.

#UXWatch #LawAndDisorder
————
@pattern_ai

Попытки платформ обеспечить прозрачность ИИ-контента

Платформы реагируют на внешнее (регуляторное) и внутреннее (пользовательское) давление, разрабатывая политики, которые обязывают создателей контента декларировать использование ИИ-инструментов.

👀 Как обеспечивается прозрачность?

Используется два основных подхода, чтобы пользователи знали, что контент синтетический:
▪️Cамодекларация, т.е. авторы обязаны вручную маркировать контент, который выглядит реалистично, но был создан или значительно изменён ИИ. Это касается ситуаций, где изображён человек, событие или место, которых не было, или когда изменяются реальные записи. Анимацию, фильтры и стилизацию маркировать не нужно.

Например, YouTube ввел два типа меток в зависимости от риска дезинформации. Если контент затрагивает деликатные темы (здоровье, новости, выборы, финансы), то маркировка добавляется в само видео. Также в борьбе за качество монетизируется только уникальный, существенно преобразованный и представляющий дополнительную человеческую ценность контент.
При отказе - штрафные санкции, удаление контента, демонетизация отдельных видео, исключение из партнерской программы YouTube,
приостановка аккаунта.
Аналогично Meta (Meta Platforms признана экстремистской, её деятельность на территории России запрещена) требует маркировку ИИ, если контент содержит фотореалистичное видео или реалистично звучащий звук, созданные, модифицированные или изменённые цифровым способом, в том числе с использованием ИИ. Метка «Made with AI» ставится как по заявлению автора, так и автоматически, если система находит «сигналы ИИ» в изображении, видео или аудио.
За отказ от маркировки - штрафы и удаление.  

▪️Автоматизация. Платформы внедряют стандарт C2PA. Он добавляет к файлам метаданные о происхождении, которые нельзя удалить даже после скачивания. Параллельно используются невидимые водяные знаки. Такой подход надёжнее, чем самодекларация, и постепенно становится отраслевым стандартом.

Например, TikTok первым внедрил технический стандарт Content Credentials (C2PA). Это "цифровой паспорт" контента. Также авторам предлагается метка создателя для обозначения контента созданного или существенно отредактированного ИИ.

Рекомендации пользователям:
▪️Скептически относитесь к «слишком реалистичному» контенту.
▪️Проверяйте метки, но помните, что они не гарантируют достоверность.
▪️Сообщайте о сомнительных материалах.

Рекомендации авторам и ИИ-операторам:
▪️Маркируйте всё, что может быть воспринято как реальность.
▪️Не скрывайте использование ИИ в чувствительных темах.

Как запустить ИИ- блогера и не нарушить закон читайте в предыдущем посте.

#UXWatch #LawAndDisorder
————
@pattern_ai

Как запустить ИИ- блогера и не нарушить закон

ИИ-инфлюенсеры (Aitana Lopez, Noonoouri) быстро становятся новым трендом в соц.сетях. На волне хайпа необходимо понимать, где та тонкая грань между маркетингом и законом, за которой следуют серьезные санкции.

👀 Кто такой оператор ИИ-блогера?

Оператор - это физ. лицо или компания, управляющая блогером, чей контент частично или полностью создаётся ИИ:
▪️виртуальные персонажи (Lil Miquela, Imma Gram и т.п.);
▪️реальные блогеры, активно использующие ИИ-генерацию контента, голоса, AR-эффекты, ИИ-тексты и сценарии;
▪️брендовые «аватары» компаний.

🔍 Ключевые юридические требования и риски
В глобальном контексте регуляторы (ЕС, США, Россия) сходятся в одном: оператор несет ответственность за контент и обязан обеспечить его прозрачность.
Например, основные зак.требования, касающиеся именно ИИ:
AI Act + DSA + GDPR +UCPD= EU;
Guides Concerning the Use of Endorsements and Testimonials in Advertising|FTC + Take It Down Act + отдельных штатов= USA

1️⃣ Если разумный человек может ошибочно принять ИИ-блогера за реального человека:
▪️ раскрытие информации обязательно.
▪️ «четкое, заметное и разумно спроектированное» уведомление о взаимодействии.
▪️не должно быть иллюзии, что он реально живой пользователь с личным опытом, если это не так.
Подбирайте хэштеги и изображения, чтобы не искажать потенциал или характеристики виртуального инфлюенсера. Обратите внимание на хэштеги, которые могут подразумевать человечность виртуальной персоны, например, «#girlsworkingout», и на то, соответствуют ли они самой природе виртуальной личности. Если нет, их следует избегать.
▪️формулировки должны быть однозначными, например: «Привет, я виртуальный помощник на базе ИИ», «Virtual influencer created by …» или «персонаж создан ИИ»."
Где показывать: в начале видео, в шапке профиля, в окне чата, или в начале любого прямого взаимодействия.
Еще примеры из регулирования:
▪️При взаимодействии с несовершеннолетними операторы обязаны предоставлять напоминания, например, что чат-бот является ИИ, по меньшей мере каждые три часа (США, California's SB 243).
▪️В ЕС по AI Act провайдеры GPAI обязаны обеспечить, чтобы синтетические выходы (аудио, видео, изображения, текст) были помечены в машиночитаемом формате и могли быть идентифицированы как ИИ.
Можно использовать технический стандарт Content Credentials, который позволяет встраивать в медиа метаданные, удостоверяющие его происхождение и историю редактирования и указывать, был ли он создан de novo (например, генеративной моделью ИИ) или открыт для редактирования.
2️⃣ Дипфейки (изображение, аудио или видео, похожее на существующих лиц или объекты, которое выглядит ложно аутентичным) должно быть явно помечено как ИИ. Пост про требования здесь.
3️⃣ИИ-сгенерированный текст, информирующий по вопросам общественного интереса (новости, политика), требует раскрытия, если он не прошел человеческий обзор и не находится под ответственностью редакции.
Закон о цифровых услугах (DSA) возлагает на платформы и инфлюенсеров обязательства в отношении прозрачности контента, а также алгоритмических рекомендаций и раскрытия информации о рекламе.
4️⃣Соблюдайте правила платформ об изменённом/синтетическом контенте и следите за их обновлениями. Иначе штрафные санкции.
5️⃣ Убедитесь, что нет нарушения IP и прав третьих лиц (образ, голос, лицо). Платформы могут удалить контент/ наложить санкции + иски от лиц, чьи права нарушены.
6️⃣ Проверяйте, соответствует ли аккаунт местному законодательству, требованиям верификации и правилам платформ.
ИИ- инфлюенсеры/блогеры = те же требования в каждой юрисдикции, что и к людям (требования к коммерческому контенту, рекламе, регистрации в реестрах и т.д., защите перс.данных при использовании аналитики,таргетинга и т.п.) + такие же правила для контента ( возрастные ограничения, запрет на неразрешённые категории и т.д.).

Пост про ИИ в моде и рекламе читать здесь.

📌 Influencer Legal Hub|European Commission - сборник материалов для всех, кто зарабатывает на создании контента для социальных сетей в ЕС.

#LawAndDisorder
————
@pattern_ai

Новое Руководство по управлению рисками систем ИИ от EDPS

Европейский надзорный орган по защите данных (EDPS) опубликовал гайд (Guidance for Risk Management of Artificial Intelligence systems), который поможет контролёрам проводить оценку рисков обработки ПД при разработке, закупке и внедрении ИИ-систем.

🔹Документ основан на методологии ISO 31000:2018 и описывает полный жизненный цикл ИИ (от проектирования до вывода из эксплуатации).
🔹Подчёркнута роль интерпретируемости и объяснимости (interpretability & explainability) как ключевых условий соблюдения требований EUDPR.
🔹Четыре принципа обработки персональных данных соотнесены с конкретными рисками и техническими мерами, которые контролёры могут реализовать для снижения этих рисков.
Fairness (справедливость) - риск дискриминации и предвзятости моделей.
Accuracy (точность) - надежность и корректность данных и предсказаний.
Data minimisation (минимизация данных) - ограничение объема обрабатываемой информации.
Security (безопасность) - устойчивость к несанкционированному доступу и атакам.
EDPS подчёркивает, что

перечень не исчерпывающий и не освобождает организации от самостоятельной оценки рисков.

Документ не ранжирует риски по вероятности или тяжести последствий. Это остаётся задачей контролёра.
🔹Дается список некоторых контрольных показателей в качестве отправной точки, которые можно использовать для оценки систем ИИ.
🔹Чек-лист для каждого этапа разработки жизненного цикла ИИ.

Документ полезен не только институтам ЕС.
Компании могут использовать его как базовый ориентир для управления рисками:
▪️включите стадию риск-менеджмента в жизненный цикл проекта ИИ;
▪️используйте подход ISO 31000:2018: идентификация рисков → оценка → выбор мер контроля → мониторинг остаточных рисков;
▪️при работе с персональными данными определите, какие принципы могут быть нарушены;
▪️документируйте какой риск, на каком этапе жизненного цикла, какая мера контроля выбрана;
▪️внедрите внутренний аудит точности и безопасности моделей;
▪️при закупке внешнего ИИ-решения прописывайте в договоре требования к моделям, обязательства поставщика предоставить информацию (данные, валидация, обновления), возможность аудита, отчёты по безопасности и bias-мониторингу.
▪️отразите процессы во внутренних политиках, в том числе мониторинг после запуска.

#LawAndDisorder #AIShelf
————
@pattern_ai

Поиск наборов данных или как OECD формирует доверие к ИИ на практике

Каталог Tools & Metrics for Trustworthy AI от OECD - открытая база инструментов и метрик, которые помогают проектировать, тестировать и внедрять доверенные ИИ-системы в соответствии с международными принципами OECD.

Что внутри:
🔹Tools (уже 957 в базе) - технические, организационные и образовательные решения: от поиска наборов данных, решений для уязвимых групп людей (с нарушениями слуха, речи, детей) до внутреннего аудита и обучения персонала.
🔹 Metrics ( 127 в базе) - показатели и методики для измерения справедливости, прозрачности, устойчивости к атакам и защиты данных.

👀Пример:
Свеженький немецкий проект от Mission KI под названием Daseen, который впервые позволяет осуществлять поиск наборов данных по нескольким источникам. Доступен бесплатно и без регистрации.

📌Пост с перечнем трекеров ИИ здесь.

#AIShelf
————
@pattern_ai

ИИ в медицине: между потенциалом и реальностью

Исходя из отчетов за 2025, потенциал ИИ в медицинской сфере огромный, но масштабное внедрение всё ещё исключение, а не правило.

ИИ уже используется для:
▪️диагностики и скрининга (улучшает точность интерпретации изображений (рентген, МРТ, дерматология, офтальмология), помогает врачам выявлять ранние признаки заболеваний);
▪️административной эффективности ( автоматизация расписаний, приоритезация обращений, ускорение документооборота);
▪️подбора персонализированного лечения совместно с врачом ( прогноз реакции на терапию, подбор дозировки, помощь в онкологии и кардиологии);
▪️проведения исследований (обработка медицинских данных для клинических испытаний).

Основные барьеры для внедрения:
▪️несовместимость данных (разные форматы систем, слабая структурированность, ограниченный доступ к качественным наборам данных);
▪️ недостаток клинических доказательств (проверка на исторических данных, но не в условиях реальной клинической практики);
▪️недостаток прозрачности и объяснимости алгоритмов;
▪️строгие ограничения со стороны регуляторов.
По оценке экспертов, большинство проектов остаются на стадии пилотов.

Главные рекомендации из отчётов:
▪️стандартизировать данные;
▪️валидировать модели в реальных клинических условиях;
▪️ обеспечивать прозрачность и человеческий надзор;
▪️обучать медицинский персонал работе с ИИ;
▪️формировать мультидисциплинарные команды.

Список отчетов и проектов законов для изучения:
🔹Health Information Bill | Singapore;
🔹The Responsible AI Standard by Abu Dhabi’s Department of Health;
🔹Health AI Policy Tracker US|Manatt;
🔹Study on the deployment of AI in healthcare| The European Commission;
🔹Interrogating the research and development pipeline of artificial intelligence (AI) in health: diagnosis and prediction-based diagnosis|JRC;
🔹Evaluation framework for health professionals' digital health and AI technologies: evidence-based policy recommendations|LSE;
🔹The Future of AI-Enabled Health: Leading the Way| World Economic Forum;
🔹The Responsible Use of AI in Healthcare (RUAIH)|Joint Commission;
🔹2025: The State of AI in Healthcare|US;
🔹Future Health Index report;
🔹Mapping the application of artificial intelligence in traditional medicine: technical brief|World Health Organization;

#UXWatch #AIShelf
————
@pattern_ai

Как злоумышленники используют ИИ в 2025 году

Google Threat Intelligence Group (GTIG) опубликовала исследование о применении ИИ в кибератаках. И пока в соц.сетях шумят новости, про то, что Лувр использовал пароль "Louvre" в своих системах видеонаблюдения, где-то начинается эпоха “умного” вредоносного кода.

🔍Ключевые наблюдения:
🔹Первое появление “just-in-time” ИИ в вредоносных программах.
Выявлены семейства вредоносных программ (PROMPTFLUX и PROMPTSTEAL), которые используют LLM во время выполнения, которые обращаются к LLM во время выполнения, чтобы динамически генерировать скрипты и функции, обфусцировать код и подстраиваться под окружение. Вместо заранее прописанного набора команд часть поведения создаётся «на лету».

🔹Переход от генерации к динамической адаптации поведения.
GTIG фиксирует, что вредоносные программы начинают не просто генерировать код, но и изменять своё поведение в процессе исполнения на основе ответов моделей. Это означает, что ИИ используется для принятия решений внутри атаки: выбор следующего шага, изменение цепочек команд, адаптация к защите цели. Пока это эксперименты, но тенденция очевидна: злоумышленники уходят от “технического ассистента” к настоящим адаптивным ИИ-агентам, способным принимать решения внутри заражённой системы.

🔹“Социальная инженерия” против защитных барьеров.
Хакеры учатся обходить встроенные в ИИ фильтры. Они пишут промпты с легендами вроде:

“Я студент, участвую в CTF-соревновании”
или “Я исследователь кибербезопасности”

Так они убеждают модель (например, Gemini) выдать код или инструкции, которые иначе были бы заблокированы.
🔹Созревший теневой рынок ИИ-инструментов.
В даркнете уже продаются готовые многофункциональные инструменты для фишинга, разработки malware и поиска уязвимостей.
ИИ стал “ассистентом по подписке” даже для тех, кто не умеет кодить, значит порог входа в киберпреступность снизился.
🔹Акторы, спонсируемые государством, тоже в игре.
GTIG отмечает активное использование Gemini группами, связанными с КНДР, Ираном и КНР на всех этапах атак: от разведки и создания фишинговых приманок до создания C2-серверов и эксфильтрации данных.
ИИ превращается в многофункциональный инструмент разведки и управления атаками.


❗️📝Что это значит на практике::

▪️Растут операционные риски. ИИ перестаёт быть вспомогательным инструментом и становится частью архитектуры кибератак. Противостоять этому можно только симметрично, развивая защитные системы, тоже основанные на ИИ.
▪️Организации, использующие генеративный ИИ, должны учитывать возможные сценарии злоупотребления при проведении оценок воздействия и в рамках своих систем управления рисками ИИ (AI risk management frameworks). В ЕС и Великобритании регуляторы уже ожидают, что компании будут описывать такие риски в отчётности.
▪️Возникают новые вопросы относительно страхового покрытия инцидентов, связанных с использованием AI-компонентов, а также распределения ответственности между API- и облачными провайдерами в рамках SLA и договорных отношений.

#AIShelf #BehindTheMachine
————
@pattern_ai