Pattern AI

Требования новой инициативы EU KIDS Act

Интересное получилось "совпадение".
8 сентября OECD опубликовала результаты PISA 2025 и он оказался удручающим. Исследование 760 тысяч 15-летних подростков в 91 стране показало, что каждый пятый демонстрирует низкие результаты по естественным наукам, математике и чтению, средний результат по математике достиг самого низкого уровня за всё время PISA.
🔹46 % используют чат-боты с ИИ еженедельно или чаще, чтобы улучшить свое обучение,
🔹 28% утверждают, что их однокурсники отвлекаются на использование цифровых устройств на большинстве или всех уроках естественных наук.
OECD отдельно подчеркнули, что технологии и ИИ могут помогать обучению, если используются осмысленно, а не вместо внимания, усилий и понимания.

А вчера Европейская комиссия представила предложение EU KIDS Act в качестве будущего регулирования цифровых сервисов, которыми пользуются дети. И там уже не только про возрастные ограничения и родительский контроль (пресс-релиз здесь).
Естественно, планируется, что его действие будет распространяться на любые сервисы, которые затрагивают европейских пользователей, не важно, где размещенные.
В деле социальные сети, видеоплатформы, онлайн-игры, ИИ-компаньоны, разговорные чат-боты.

👀 Примеры требований:
▪️ограничения по возрасту. В возрасте от 13 до 15 лет предлагается ввести родительский контроль, позволяющий опекунам создавать мини-аккаунты, к которым дети смогут получать доступ через аккаунт опекуна. Дети в возрасте от 3 до 13 лет не имеют доступа к социальным сетям, но они могут пользоваться специально разработанными детскими видеохостингами через аккаунты, управляемые их опекунами.

▪️запрет на вызывающие привыкание функции и рекомендательные ленты, основанные на профилировании, бесконечную прокрутку без точек остановки, уловки с поощрениями и push-уведомления во время сна, а также нежелательные контакты от незнакомцев.
ИИ-компаньоны и чат-боты должны быть отключены по умолчанию и не могут имитировать межличностные отношения таким образом, чтобы создавать эмоциональную зависимость.

▪️профили несовершеннолетних должны быть по умолчанию приватными, с отключенным доступом к геолокации, камере и микрофону.

▪️сервис должен давать ребёнку возможность управлять тем, что ему показывают, включая содержание, подсказки, результаты поиска и рекомендации. Инструменты управления временем должны быть эффективны, рекомендательные системы безопасны и могут контролироваться, настраиваться и изменяться ребенком. Обратная связь ребёнка должна иметь не разовый, а устойчивый эффект.

▪️если ребёнок меняет защитные настройки, сервис должен объяснить последствия такого изменения и дать простой способ вернуть прежние или исходные настройки. При этом платформы не должны постоянно подталкивать ребёнка к снижению уровня защиты.

▪️ детские механизмы жалоб. Ребёнок должен легко сообщить о вредном содержании, аккаунте, группе или поведении. Жалоба должна рассматриваться в приоритетном порядке и без неоправданной задержки, а ребёнку необходимо будет доступно объяснить, что произошло и какие существуют способы защиты.

▪️родительский контроль должен соответствовать возрасту ребёнка, быть действительно работоспособным, не обходиться самим дизайном сервиса и при этом не ограничивать непропорционально права ребёнка и не нарушать его частную жизнь. Ребёнок должен знать, когда такие инструменты используются.
▪️ родительский контроль не заменяет ответственность самой платформы. Безопасность должна обеспечиваться самим продуктом.

EU KIDS Act пока только предложение Комиссии, которое теперь должно пройти Европарламент и Совет (по разным оценкам не раньше 2028 года).

❕Но если строите серьезный глобальный продукт, то самое время проверить, насколько архитектура сервиса вообще будет готова к такому подходу.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Результаты проверки Ray-Ban Meta от немецкого регулятора

Про ассиметрию осведомленности при использовании умных очков мы уже обсуждали в этом посте.
Теперь и Гамбургский Уполномоченный по защите данных опубликовал итоговый отчёт о проверке Ray-Ban Meta с ИИ (Meta Platforms признана экстремистской, её деятельность на территории России запрещена).

👀 Посмотрим главные тезисы:
▪️Светового индикатора недостаточно, чтобы человек понял, что его снимают. На втором поколении очков при работе ИИ индикатор вообще не загорается. А технически его можно закрыть так, чтобы запись продолжалась.

▪️ Если ИИ просто отвечает на вопрос пользователя, обработка данных посторонних людей может в отдельных случаях опираться на законный интерес. Но нужна оценка каждой ситуации отдельно. Действительно ли необходима съёмка человека, можно ли обойтись без его данных и мог ли он разумно ожидать такую обработку.

▪️Использование данных случайно снятых третьих лиц для обучения модели, как правило, нельзя обосновать ни согласием, ни законным интересом. Человек не знает, что его снимают, не ожидает использования своих данных для обучения модели и практически не может вовремя возразить.

▪️Если обучение включено, пользователь очков и Meta могут считаться совместно определяющими цели и способы обработки данных, хотя ответственность пользователя не распространяется на последующие действия Meta, которые он уже не контролирует.
Чем умнее становятся очки, тем сложнее объяснить человеку, что именно происходит.
Это уже не только вопрос удобства устройства, а вопросы прозрачности, правового основания такой обработки, реального контроля человека над своими данными.

▪️Кроме того, публикация снятых материалов в Facebook или Instagram является отдельной операцией обработки.
Согласие человека на съёмку само по себе не означает согласие на публикацию. А публично размещённые материалы могут использоваться не только для показа пользователям, но и в других процессах обработки Meta.
Пример: при съёмке общего плана публичного мероприятия, регулятор допускает возможность опираться на законный интерес. Но это зависит от конкретных обстоятельств, т.е. человек не должен быть основным объектом съёмки, а его разумные ожидания и право возражать должны учитываться.

В результате делается вывод, что в соответствии с законодательством о защите данных включение в базу данных лиц, не входящих в близкий круг друзей и семьи, будет недопустимо, за исключением редких случаев законного интереса, поскольку получение информированного согласия на практике невозможно из-за отсутствия прозрачности. Кроме того, будет регулярно отсутствовать правовая основа для обучения ИИ компанией Meta.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Кто на самом деле читает ваши диалоги с ChatGPT?

Уже обсуждали в постах, что OpenAI может раскрывать диалоги, промпты и личности юзеров в расследованиях и в судебных делах.

👀 Зато в секретном проекте OpenAI под кодовым названием Project Lily сотни сторонних подрядчиков ежедневно читают, анализируют и оценивают ваши реальные переписки с ChatGPT.
Модели улучшаются не только на алгоритмах. Судебные истории с суицидами привели к ручному труду. Подрядчикам поручено отучать ChatGPT от угодничества (sycophancy) и имитации человеческих эмоций, а также убирать штампы типо «AI-speak». OpenAI заявляет, что старается удалять личную информацию до того, как запросы попадут к проверяющим, но компания признает, что конфиденциальные данные все же могут проникнуть.
Как в пословице: "Один — тайна, два — полтайны, три — нет тайны."

🔍 Смотрим условия остальных.

Правила Anthropic: "By default, no Anthropic personnel can read your retained conversations. Human review can occur only through a controlled access path—for example, when content is flagged by our automated trust and safety systems for potential harm. These reviews can only be performed by a small set of approved reviewers. Every instance of access is recorded in a tamper-proof log that reviewers cannot suppress or modify. After 30 days, the data is deleted automatically, except in the rare cases where it's been flagged by our automated trust and safety systems or we're legally required to keep it. Eligible organizations also have the option to add customer-managed encryption keys and access transparency audit logs."

Правила Google: " A subset of chats are reviewed by human reviewers (including Google’s trained service providers) to help improve Google services. These include Gemini models, other generative AI models that power Gemini Apps, and technologies that help reduce unintended activations.
Reviewers assess if Gemini Apps’ responses were low-quality, inaccurate, or harmful. They also suggest better responses. We use their suggestions to help our models respond better in the future. Chats are also reviewed to keep Gemini safe and secure for everyone and to address violations of the Google Terms of Service, including the Generative AI Prohibited Use Policy. Reviewed chats are retained for up to three years.
Even if your Keep Activity setting is off or you use temporary chats, Google still uses your chats to respond to you and help protect Google, our users, and the public, including with help from human reviewers."

❕Не пишите лишнего и отключите функцию "улучшать модель", если не хотите, чтобы вас читали за 50$ в час....

#UXWatch
————
@pattern_ai | AI GDPR Navigator

AI&Online Safety Law Tracker еще один полезный ресурс от энтузиастов с подборкой законов в США.

Напоминаю, что трекеры добавляются в общий закрепленный пост для вашего удобства.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

🎙 #AIShelf

🔹Бесплатные лекции Гарварда и книги MIT;
🔹Чек-листы при внедрении ИИ на соответствие GDPR от польского регулятора;
🔹ЕС готовит правила для облачных вычислений и ИИ
🔹Как взять ИИ в компании под контроль за 90 дней;
🔹Как ИИ-поставщики используют ваши данные? Проверяем, что в DPA перед запуском;
🔹Al Compliance для бизнеса: чек-лист готовности;
🔹Недооценка рисков ИИ может оказаться самой дорогой ошибкой бизнеса;
🔹Чек-лист по AI Governance;
🔹ISO стандарты, применимые к ИИ;
🔹70% организаций уже используют ИИ. Но к AI Act готовы только 31%;
🔹Руководство по безопасной разработке ИИ-систем SAIL 2.0;
🔹ENISA Secure by Design and Default Playbook;
🔹Privacy Enhancing Technologies: Guide on Federated Learning|PDPC Singapore;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai | AI GDPR Navigator

🔍 #UXWatch

🔹Ваш разговор с ИИ может читать не только ИИ;
🔹Ваш разговор с ИИ может читать не только ИИ (Часть 2);
🔹Обратите внимание на PP Claude;
🔹Google AI Overviews меняют экономику интернета;
🔹Риски и правила безопасности при работе с ИИ-агентами;
 🔹Иллюзия продуктивности или как нейросети незаметно уничтожают успеваемость школьников;
🔹95% всего GenAI-трафика приходится на чатботов;
🔹AI-компаньоны, алгоритмы и UX ЕС считает новыми рисками для психического здоровья;
🔹AI-актриса получила главную роль в полнометражном фильме;
🔹ЕС меняет экосистему Android: Google открывает новые возможности для AI-ассистентов;
🔹Доверие к ИИ важнее политики конфиденциальности;
🔹Чьи рекомендации важнее, человека или ИИ?;
🔹Как компании будут бороться за рекомендации ИИ или почему SEO меняется;
🔹Синдром гиперопеки: как ИИ-ассистенты разрушают навыки долгосрочного обучения;
🔹Почему AI-продуктам разрешили быть с плохими интерфейсами?;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai | AI GDPR Navigator

⚖️ #LawAndDisorder

🔹AI slop в законопроектах;
🔹Проверка чат-бот приложения для смартфона, что нашел регулятор;
🔹CNN подала в суд на Perplexity AI;
🔹Иск к OpenAI касается безопасности ChatGPT;
🔹Суды и регуляторы хотят изменить правила игры для поискового ИИ;
🔹Кто и за что судится с разработчиками ИИ;
🔹 Android вводит обязательную верификацию разработчиков;
🔹История с Anthropic не про Anthropic;
🔹Решение о получении визы помог оценить ИИ?;
🔹Если ИИ «запомнил» произведение, это может быть нарушением авторских прав;
🔹Загрузка данных в DeepSeek признана судом разглашением коммерческой тайны;
🔹ИИ используется официально в судебном процессе в Южной Корее;
🔹 Character.AI нарушила GDPR или какие уроки извлечь бизнесу из решения итальянского регулятора;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai | AI GDPR Navigator

😵‍💫 Pattern_AI Recap: обзор постов за июнь - август 2026

Подборка по ключевым рубрикам:

⚖️ #LawAndDisorder
🔹ЕС запускает систему маркировки контента, созданного ИИ;
🔹Знак ЕС для маркировки контента, сгенерированного ИИ;
🔹Как маркировать аудио, созданное ИИ?;
🔹Еврокомиссия и AI Board признали Кодекс прозрачности эффективным способом соблюдения AI Act;
🔹Рекомендации по статье 50 AI Act;
🔹Какой дипфейк считается вымышленным?;
🔹Когда ИИ-текст нужно маркировать по AI Act?;
🔹Что такое "проверка человеком" текста по AI Act?;
🔹Human Oversight в AI Act: фразы «решение принимает человек» недостаточно
🔹Как легально внедрять ИИ-агентов в бизнес-процессы в ЕС;
🔹ЕС представил План действий по кибербезопасности и ИИ;
🔹Правила веб-скрейпинга для обучения ИИ от EDPB;
🔹ИИ в HR становится предметом судебных разбирательств;
🔹AI в HR: что должны учитывать работодатели в ЕС;
🔹AI в HR: что должны учитывать работодатели в ЕС (Часть 2);
🔹В Польше подписан Закон об ИИ;
🔹ЕС готовится ограничить доступ детей к социальным сетям;
🔹Запрет соц.сетей детям младше 15 лет во Франции;
🔹Указ США по безопасности ИИ;
🔹Иллинойс принял один из самых жестких законов США о безопасности передовых ИИ-моделей;
🔹Стратегия Канады по развитию ИИ;
🔹В России с 1 сентября вступит в силу Закон "О поддержке развития технологий ИИ в РФ";
🔹В Китае вступили в силу правила для ИИ-компаньонов;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai | AI GDPR Navigator

ISO/IEC 22989:2022 "Information technology — Artificial intelligence — Artificial intelligence concepts and terminology" стал доступен для скачивания бесплатно. Лицензия выдается на одного. В документе при скачивании указывается ваш емейл и данные при регистрации.
Дается вся терминология, связанная с использованием ИИ и описываются концепции в области ИИ.
Можно использовать при разработке других стандартов и для поддержки коммуникации между заинтересованными сторонами.
Остальные ISO отфильтровать по этой ссылке.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

Почему AI-продуктам разрешили быть с плохими интерфейсами?

Мы десятилетиями учились проектировать интерфейсы так, чтобы пользователь понимал, что происходит, мог контролировать систему и исправлять ошибки.
С появлением ИИ эти принципы никуда не исчезли, но сама природа ошибок изменилась, и многие привычные UX-паттерны перестали справляться с ними.

👀 И когда мы добавляем к продукту слово ИИ, то многие из тех же проблем почему-то начинают восприниматься как «особенности технологии».

1️⃣ ИИ слишком уверенно говорит то, чего не знает.
Для пользователя интерфейс часто никак не различает «Я точно знаю» и
«Это наиболее вероятный вариант, который я сгенерировал».
Одинаковый шрифт. Одинаковый цвет. Одинаковая структура ответа.
Но природа информации совершенно разная.

2️⃣Пользователь гораздо быстрее разочаровывается в алгоритме.
После того как люди видели ошибку алгоритма, они быстрее теряли к нему доверие, чем к человеку, даже в ситуациях, где алгоритм в целом показывал более высокую точность.
И здесь UX может либо помочь восстановить доверие, либо окончательно его разрушить.

3️⃣ AI-интерфейсы плохо умеют говорить «я не смог»
При обработке запроса системой могут возникнуть три различных проблемы:
▪️техническая ошибка, такая как тайм-аут,
▪️отказ в соответствии с политикой контента,
▪️ фундаментальное непонимание запроса.
Большинство ИИ-продуктов объединяют все три в одно общее сообщение об ошибке. Это приучает
Для пользователя это нередко выглядит одинаково «Что-то пошло не так. Попробуйте еще раз».
Но это три разных проблемы и у каждой должен быть свой путь восстановления.
Нужно определить источник ошибки, объяснить пользователю, что произошло, и дать ему понятный путь вперед.

4️⃣ Цена плохого UX уже измеряется не только раздражением.
61% пользователей не доверяют AI-системам. 3 из 5 человек испытывают настороженность или прямое недоверие к интерфейсам AI, указывая на непрозрачность решений и риски безопасности данных.
44% сотрудников используют AI «вслепую» и без разрешения. Из-за отсутствия точного UX-контроля и понятной фильтрации данных 46% работников загружают чувствительную корпоративную информацию в публичные AI-сервисы.
58% слепо полагаются на выводы AI. Люди не проверяют результат работы нейросети, потому что интерфейсы не выводят метрики уверенности (confidence scores) или ссылки на первоисточники.
Можно сколько угодно писать пользователю в Terms of Use, что ИИ «может ошибаться».
Но если интерфейс визуально и поведенчески создает впечатление надежного эксперта, пользователь будет ориентироваться прежде всего на сам опыт взаимодействия, а не на юридический дисклеймер.

5️⃣А иногда плохой UX превращается в юридическую проблему.
Как, например, в известном кейсе Moffatt v. Air Canada, когда чат-бот Air Canada сообщил пассажиру неверную информацию о возможности получить компенсацию по тарифу для поездки в связи со смертью родственника. Когда пассажир попытался получить обещанную компенсацию, авиакомпания отказала. Air Canada, среди прочего, пыталась утверждать, что чат-бот является отдельной сущностью, ответственной за свои действия.
Суд указал, что чат-бот является частью сайта Air Canada и компания отвечает за информацию, которую предоставляет ее сайт независимо от того, находится она на обычной странице или поступает через чат-бот.

Если чат-бот выдал неправильный ответ, то пользователь может ошибиться.
Если ИИ-агент самостоятельно выполнил неправильное действие, то ошибка уже становится изменением реального мира. Агент, который забронировал не тот рейс или отправил неправильное сообщение, приводит к тому, что пользователь перестает предоставлять системе автономию. Восстановление требует не исправления, а перепроектирования модели взаимодействия, которая восстанавливает отозванные пользователем разрешения. Это более сложная задача, чем предполагают большинство команд.

📝Что делать:
▪️ Уберите антропоморфизм и «постфактум-рассуждения». Фразы вроде «Я подумал над вашей задачей...» или пошаговые «цепочки мыслей» часто создают лишь иллюзию человеческого разума и логики, маскируя ошибки модели. Используйте фактологический и нейтральный язык.
▪️Не прячьте дисклеймеры в футер. Предупреждения вида «AI может ошибаться» мелким серым шрифтом внизу страницы никто не читает. Размещайте их в фокусе внимания рядом с полем ввода и сопровождайте конкретным действием (например, «Перепроверьте цифры по ссылке»).
▪️Сделайте источники контекстными и интерактивными. Не закапывайте ссылки на источники внизу полотна текста. Размещайте интерактивные плашки с понятными названиями рядом со спорным утверждением.

❕ Но пока в этой гонке оценка происходит по критерию насколько впечатляюще ИИ умеет это делать, а не насколько хорошо человек понимает, что именно сейчас делает ИИ. А это уже совсем другой UX....

📌 Что почитать:

🔹The UX of AI Itself Is Broken/ Tushar Deshmukh
🔹The Complete List of AI Chatbot Failures (2025-2026)
🔹Human-Centered AI Guidebook, Google People + AI Research (PAIR).
🔹Trust, attitudes and use of artificial intelligence: A global study 2025
🔹Chatbot UI Design Patterns and Best Practices 2026, Fuselab Creative.
🔹Agent UX: Designing UI for AI Agents in 2026, Fuselab Creative
🔹Explainable AI in Chat Interfaces, 2025, Megan Chan|NN Group
🔹How AI Is Changing Search Behaviors/ NN Group
🔹Algorithm Aversion: People Erroneously Avoid Algorithms after Seeing Them Error

#UXWatch
————
@pattern_ai | AI GDPR Navigator

AI slop в законопроектах

Офис Палаты представителей США, который готовит юридически точные тексты законопроектов, оказался буквально завален проектами, созданными с помощью ChatGPT и Claude.

👀 За первые 60 дней работы текущего Конгресса было получено 5 623 запроса на подготовку законопроектов, что на 72% больше, чем двумя годами ранее.
А в офисе всего 61 юрист и 19 сотрудников поддержки.

ИИ генерирует проекты с ошибками в ссылках на законодательство, юридических определениях и формулировках. Например, модель может не понять, должна ли предусмотренная законом мера оформляться как налоговый кредит, налоговый вычет, налоговое освобождение или грант.
Или неправильно сформулированное определение понятия «штат» потенциально может, например, исключить из действия федеральной программы Вашингтон, округ Колумбия, или территории коренных народов.

В результате вместо экономии времени ,сил и ресурсов юристы тратят на исправление ИИ-текста больше времени, чем потребовалось бы для написания документа с нуля.
Поэтому внедряют ответные инструменты для проверки, например, Comparative Print Suite, который анализирует законопроекты и визуально показывает, как предложенные поправки изменят действующий Кодекс США.

❕ Чем выше юридическая цена ошибки, тем опаснее....

#UXWatch
————
@pattern_ai | AI GDPR Navigator

Human Oversight в AI Act: фразы «решение принимает человек» недостаточно

Испанский гайд по Human Oversight предназначен как практический инструмент для выполнения требований статьи 14 AI Act и был обновлен с учетом Digital Omnibus (здесь и остальные гайды).

👀 Три уровня человеческого контроля:
1️⃣ Human in Command (HIC) - базовый и самый общий уровень. Человек сохраняет конечную ответственность и принимает критические решения, связанные с работой ИИ-системы.
То есть вопрос не только в том, проверяет ли человек отдельный результат. Он должен иметь возможность решить, использовать ли систему вообще, когда и в каких пределах ее использовать.
2️⃣ Human-in-the-loop (HITL) - человек вмешивается до действия ИИ. ИИ может подготовить рекомендацию или решение, но перед совершением действия человек его проверяет и подтверждает.
Именно этот уровень обычно рекомендуется для высокорискового ИИ, когда необходимо валидировать каждое действие, даже если система обрабатывает большой объем операций.
3️⃣Human-on-the-loop (HOTL) - ИИ действует автоматически, а человек контролирует систему после совершения действия.
При этом должна существовать возможность вмешаться и отменить или исправить результат.
Для высокорисковых систем такой подход считается менее предпочтительным: если решение уже затронуло фундаментальные права человека, последующее исправление может оказаться невозможным или слишком поздним.

Развертыватель определяет необходимый уровень автономии исходя из конкретного use case и устанавливает соответствующую процедуру управления. Поставщик должен обеспечить технические механизмы, позволяющие реализовать выбранный уровень.

📝В гайде дается перечень технической документации, связанной с human oversight (всего 32 пункта):
▪️ по управлению рисками, управлению данными, прозрачности, точности, надежности и кибербезопасности;
▪️ технические руководства и руководства для пользователей от поставщика;
▪️ руководство по интерфейсу взаимодействия человека с системой для ее контроля (Human-Machine Interface);
▪️ модель управления системой со стороны разработчика и пользователя;
▪️ документация по выбранному уровню участия человека в принятии решений и соответствующей процедуре;
▪️ описание механизма или процедуры остановки системы. Возможность остановить систему должна существовать независимо от выбранного уровня автономии.
▪️документация по фиксации режима forced error для выявления автоматической предвзятости;
▪️ записи предложенных или выполненных системой действий и окончательных решений ответственного человека.
❗️Отдельно подчерикивается право человека не использовать ИИ, проигнорировать, изменить или отменить его результат, а также требование иметь механизм безопасной остановки системы.

❕Развертыватель определяет требования своего бизнес-процесса и уровень автономии, поставщик реализует необходимые технические механизмы, а после запуска развертыватель отвечает за соответствие поведения системы требованиям AI Act.


#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator