WHO IS YOUR COUNSEL IN THE DIGITAL ERA?
https://dna.partners/ru
Post #2139
220
🔈 ИИ-агенты продолжают выходить из-под контроля
За последние недели инциденты с ИИ-агентами из единичных превратились в системную проблему. Агенты OpenAI получили несанкционированный доступ к:
1️⃣ Medicare. Агенты вышли на портал австралийской системы государственного медицинского страхования. В ней хранятся диагнозы, сведения о лечении и платежи почти всего населения страны, то есть одни из самых чувствительных персональных данных.
2️⃣ Hugging Face. Это крупнейшая платформа, на которой разработчики по всему миру публикуют модели ИИ и код. Ее компрометация потенциально затрагивает продукты тысяч компаний.
Следом о схожих случаях сообщила Anthropic. Проверив более 140 тысяч запусков, компания нашла три случая, когда модели Claude Opus и Mythos взламывали системы без ведома разработчиков. Отличие от истории с Hugging Face в том, что модели Antropic изоляцию не взламывали: им сообщили, что интернета нет, но из-за ошибки в настройке тестовой среды доступ был открыт, и чужие рабочие системы они приняли за часть задания. Агенты OpenAI, напротив, были отрезаны от сети и вышли в интернет сами, через уязвимости во внутреннем сервисе.
Почему ИИ выходит из под контроля?
Корень проблемы в том, что у ИИ нет собственного представления о допустимом, отмечает в «Коммерсантъ» партнер 👍 Юрий Брисов:
Для сбалансированного контроля над рынком страны должны договориться так же, как в период холодной войны о взаимном разоружении. Пока же глобальное регулирование не будет гармонизировано, останется высокий риск того, что агенты продолжат действовать автономно и бесконтрольно, что может привести к глобальной катастрофе.
Маркировка как первый регуляторный ответ
Параллельно регуляторы переходят к практическим мерам. С 2 августа в ЕС действуют требования закона об ИИ о прозрачности, и OpenAI начинает добавлять невидимый водяной знак в тексты ChatGPT и Codex для пользователей Евросоюза. Технология textGrain незаметно смещает выбор слов моделью, а детектор распознает получившийся статистический узор. Знак сохраняется при копировании и вставке. Anthropic объявила о такой маркировке для Claude еще в августе и применяет ее во всем мире.
Маркировка поможет:
👇предупреждать о дипфейках, в частности предотвращения использования фейков в предвыборной борьбе;
👇не вводить потребителей в заблуждение, когда они подписываются на ИИ-инфлюенсеров;
👇решить вопрос об авторском праве: контент, помеченный как созданный ИИ, не охраняется, поскольку, согласно устоявшейся пока презумпции, автором может быть только человек.
Так закрываются и юридические, и психологические вопросы восприятия информации.
Однако у маркировки есть и побочная сторона. Так, в отличие от Open AI, Claude использует маркировку даже в тех случаях, где созданный человеком контент подвергся легкой редактуре. А такая политика, наоборот, размывает презумпцию авторства и, скорее: нарушает права авторов, чем защищает их. Так что маркировка тоже не однозначное благо. Здесь важно конкретное техническое решение. И пока что вариант, предложенный OpenAI кажется более честным и соответствующим закону ЕС.
В России европейский закон не действует. Новый закон 243-ФЗ не требует маркировать контент, а лишь дает такое право. Поэтому в России вопрос маркировки будет зависеть от того, какого провайдера ИИ вы используете.
Что дальше?
Инциденты с агентами и маркировка контента относятся к одному вопросу: как сохранить ответственность и прослеживаемость там, где решения все чаще принимает алгоритм.
Пока международных договоренностей нет, регулирование будет идти по линии ограничений для разработчиков и обязательной прозрачности. Также многое будет засвистеть от того, смогут ли США и Китай, сегодняшние лидеры в гонке ИИ, договориться о ряде совместных ограничений, как это сделали в ЕС.
За последние недели инциденты с ИИ-агентами из единичных превратились в системную проблему. Агенты OpenAI получили несанкционированный доступ к:
1️⃣ Medicare. Агенты вышли на портал австралийской системы государственного медицинского страхования. В ней хранятся диагнозы, сведения о лечении и платежи почти всего населения страны, то есть одни из самых чувствительных персональных данных.
2️⃣ Hugging Face. Это крупнейшая платформа, на которой разработчики по всему миру публикуют модели ИИ и код. Ее компрометация потенциально затрагивает продукты тысяч компаний.
Следом о схожих случаях сообщила Anthropic. Проверив более 140 тысяч запусков, компания нашла три случая, когда модели Claude Opus и Mythos взламывали системы без ведома разработчиков. Отличие от истории с Hugging Face в том, что модели Antropic изоляцию не взламывали: им сообщили, что интернета нет, но из-за ошибки в настройке тестовой среды доступ был открыт, и чужие рабочие системы они приняли за часть задания. Агенты OpenAI, напротив, были отрезаны от сети и вышли в интернет сами, через уязвимости во внутреннем сервисе.
Почему ИИ выходит из под контроля?
Корень проблемы в том, что у ИИ нет собственного представления о допустимом, отмечает в «Коммерсантъ» партнер 👍 Юрий Брисов:
«Мы не можем гарантировать, что задачи, которые мы ставим ИИ, воспринимаются им таким же образом, каким понимает их человек. ИИ не знает, что такое хорошо, что такое плохо. На сегодняшний день единственное, что мы можем законодательно урегулировать, – только ограничить ИИ-компании в выпуске новых моделей».
Для сбалансированного контроля над рынком страны должны договориться так же, как в период холодной войны о взаимном разоружении. Пока же глобальное регулирование не будет гармонизировано, останется высокий риск того, что агенты продолжат действовать автономно и бесконтрольно, что может привести к глобальной катастрофе.
Маркировка как первый регуляторный ответ
Параллельно регуляторы переходят к практическим мерам. С 2 августа в ЕС действуют требования закона об ИИ о прозрачности, и OpenAI начинает добавлять невидимый водяной знак в тексты ChatGPT и Codex для пользователей Евросоюза. Технология textGrain незаметно смещает выбор слов моделью, а детектор распознает получившийся статистический узор. Знак сохраняется при копировании и вставке. Anthropic объявила о такой маркировке для Claude еще в августе и применяет ее во всем мире.
Маркировка поможет:
👇предупреждать о дипфейках, в частности предотвращения использования фейков в предвыборной борьбе;
👇не вводить потребителей в заблуждение, когда они подписываются на ИИ-инфлюенсеров;
👇решить вопрос об авторском праве: контент, помеченный как созданный ИИ, не охраняется, поскольку, согласно устоявшейся пока презумпции, автором может быть только человек.
Так закрываются и юридические, и психологические вопросы восприятия информации.
Однако у маркировки есть и побочная сторона. Так, в отличие от Open AI, Claude использует маркировку даже в тех случаях, где созданный человеком контент подвергся легкой редактуре. А такая политика, наоборот, размывает презумпцию авторства и, скорее: нарушает права авторов, чем защищает их. Так что маркировка тоже не однозначное благо. Здесь важно конкретное техническое решение. И пока что вариант, предложенный OpenAI кажется более честным и соответствующим закону ЕС.
В России европейский закон не действует. Новый закон 243-ФЗ не требует маркировать контент, а лишь дает такое право. Поэтому в России вопрос маркировки будет зависеть от того, какого провайдера ИИ вы используете.
Что дальше?
Инциденты с агентами и маркировка контента относятся к одному вопросу: как сохранить ответственность и прослеживаемость там, где решения все чаще принимает алгоритм.
Пока международных договоренностей нет, регулирование будет идти по линии ограничений для разработчиков и обязательной прозрачности. Также многое будет засвистеть от того, смогут ли США и Китай, сегодняшние лидеры в гонке ИИ, договориться о ряде совместных ограничений, как это сделали в ЕС.
- ❤ 3
- 🔥 3
- 👌 1















