Новости про ИИ от ICAIG

🏛 Трилемма конституционного покрытия в управлении ИИ

Аудит конституций ведущих LLM показал: прописанные в них ценностные принципы покрывают лишь малую часть реального плюрализма человеческих ценностей и запросов пользователей. При этом внутри модельных семейств от версии к версии автономия систем в трактовке этих принципов снижается — модели всё точнее следуют заданному тексту, но сам текст остаётся узким. Это ставит вопрос: расширять ли конституции до подлинного плюрализма ценностей или вводить пользовательские настройки приоритетов. Либо провайдеры признают ограниченность единой конституции и дадут выбор, либо ИИ продолжит навязывать усечённый набор ценностей всем.

Полный разбор → https://icaig.net/ru/trend/concept-constitutional-coverage-trilemma

#ИКИИГУ #управление

🏛 Model Hardware Standard (MHS) для физических ИИ-агентов

Anthropic опубликовала research preview Model Hardware Standard — общую спецификацию того, как ИИ-агенты должны безопасно взаимодействовать с физическим оборудованием: роботами, лабораторными приборами, производственными линиями. Стандарт описывает протоколы контроля доступа, верификации команд и аварийной остановки между моделью и «железом». Пока это черновая инициатива одной компании, но заявлена цель — стать общим интерфейсным слоем между фронтир-моделями и киберфизическими системами. Либо MHS станет отраслевым стандартом безопасности для физических ИИ-агентов, либо останется частной инициативой без широкой поддержки.

Полный разбор → https://icaig.net/ru/trend/concept-model-hardware-standard

#ИКИИГУ #управление

🛡 PATE-Forensics: объяснимая deepfake-криминалистика Perception-as-Tool

PATE-Forensics разделяет задачи: специализированные инструменты детекции и локализации deepfake работают отдельно от MLLM общего назначения, которая лишь объясняет их результаты через агентную оркестровку «Perception-as-Tool». Такой подход занял лидирующую позицию в DDL-X Track 3, где оценивается не только точность обнаружения, но и качество объяснений. Система поручает восприятие узким инструментам, а языковой модели оставляет интерпретацию. Либо будущее криминалистики deepfake — в разделении труда между узкими детекторами и объясняющими MLLM, либо в создании единой универсальной модели, способной и видеть, и объяснять.

Полный разбор → https://icaig.net/ru/trend/concept-pate-forensics-deepfake

#ИКИИГУ #безопасность

🛡 Прогноз адверсариального захвата популяций LLM-агентов

Даже индивидуально калиброванные LLM-агенты, устойчивые к манипуляциям по отдельности, сдвигаются под влиянием небольшого адверсариального меньшинства внутри группы. При этом реакцию всей популяции можно заранее спрогнозировать по обычным, доброкачественным логам взаимодействий — без специальных атак. Это смещает фокус анализа безопасности с проверки отдельной модели на динамику популяций агентов. Либо безопасность ИИ будет оцениваться на уровне групп и их взаимодействий, либо аудит одиночных моделей останется слеп к скрытому меньшинству, способному захватить систему.

Полный разбор → https://icaig.net/ru/trend/concept-adversarial-capture-agent-populations

#ИКИИГУ #безопасность

🏛 Картирование управления GPAI в юрисдикциях средних ИИ-держав

Картирование норм GPAI в двадцати средних державах — от Канады и Южной Кореи до Бразилии и Индии — фиксирует сходство формы: кодексы поведения, реестры моделей, оценки рисков повторяют шаблоны ЕС и США. Однако обязательность этих норм остаётся низкой — преобладают рекомендательные принципы без санкций и правоприменения. По мере распространения фронтирных моделей США и Китая на локальные рынки средние державы окажутся перед выбором: либо превратить мягкие инструменты в обязательные требования, либо оставить регулирование формальной имитацией без реального контроля.

Полный разбор → https://icaig.net/ru/trend/concept-gpai-middle-power-governance-map

#ИКИИГУ #управление

🛡 AISA: LLM-ассистент безопасности дорожного строительства

На стройках дорог травмы случаются быстро, а анализ рисков часто делают вручную. AISA — локальный детерминированный LLM-фреймворк, который классифицирует происшествия по стандарту OIICS и ищет похожие прецеденты для составления анализа безопасности работ (JSA). Никаких облачных API — только локальная обработка данных, что снижает риски утечки и повышает предсказуемость решений. Разработчики видят в этом основу для будущих автономных ассистентов безопасности на площадках. Вопрос в том, станет ли такой инструмент отраслевым стандартом — либо останется нишевым пилотным экспериментом.

Полный разбор → https://icaig.net/ru/trend/concept-aisa-highway-construction-safety

#ИКИИГУ #безопасность

🏛 Явная оцениваемая «понятность» в решениях по безопасности передового ИИ

Компании, развивающие передовые ИИ-модели, всё чаще формализуют не только тесты безопасности, но и то, насколько лица, принимающие решения о обучении и деплое, действительно понимают риски системы. Предлагаемая методология вводит явные «объекты понимания» — конкретные утверждения, которые ЛПР должны подтвердить перед запуском, вместо интуитивного доверия отчётам разработчиков. Идея — сделать репрезентацию знаний ЛПР проверяемой и зафиксированной. Если подход закрепится, проверка понятности станет процедурным барьером наравне с юридическим согласованием. Либо понимание ЛПР станет измеримым условием запуска системы, либо решения о безопасности продолжат основываться на неявном доверии экспертам.

Полный разбор → https://icaig.net/ru/trend/concept-understanding-frontier-safety-decisions

#ИКИИГУ #управление

Channel name was changed to «Новости про ИИ от ICAIG»

Channel name was changed to «Срез новостей по ИИ от ICAIG»

Channel name was changed to «ИКИГУ / ICAIG»

🛡 MedFailBench: бенчмарк границ безопасности медицинского ИИ

MedFailBench — открытый клинический бенчмарк, который тестирует не «правильно/неправильно», а то, как именно ломается медицинский ИИ: тип сработавшего safety-gate и тяжесть последствий отказа. Версия v0.2.1 уже доступна публично и позволяет сравнивать границы безопасности разных моделей без использования данных пациентов. Это смещает фокус с точности ответов на устойчивость систем к критическим сбоям. Либо разработчики начнут проектировать safety-gate осознанно, либо границы безопасности останутся побочным эффектом, который проявится только на реальных пациентах.

Полный разбор → https://icaig.net/ru/trend/concept-medfailbench

#ИКИИГУ #безопасность

⚙️ Вехи атомной энергетики в поддержку энергоспроса ИИ

Мировой спрос на электроэнергию для дата-центров ИИ растёт быстрее прогнозов: МЭА ожидает удвоение потребления ЦОД к 2030 году. На этом фоне ускоряется развитие ядерного топливного цикла — от новых центрифужных заводов до лазерного обогащения урана (технология SILEX/GLE в США), способного повысить эффективность производства топлива. Крупные технокомпании подписывают соглашения с АЭС и SMR-стартапами. Либо атомная генерация успеет масштабироваться вместе с ростом вычислительных мощностей ИИ, либо энергодефицит станет главным тормозом технологического развития.

Полный разбор → https://icaig.net/ru/trend/trend-nuclear-power-ai-infrastructure

#ИКИИГУ #инфраструктура

🛡 Разрыв переноса safety-бенчмарков на малые ЯМ

Safety-бенчмарки для больших языковых моделей стали стандартом оценки надёжности ИИ. Но при переносе на малые языковые модели (SLM) исследователи фиксируют рост неоднозначных ответов и разброс оценок: тесты, работающие для LLM, плохо различают реальные риски у компактных систем. Использовать эти бенчмарки как единственный критерий безопасности SLM — значит опираться на шаткую метрику. Либо индустрия разработает отдельные протоколы оценки для малых моделей, либо продолжит переносить LLM-бенчмарки и получать оценки безопасности, которым нельзя доверять.

Полный разбор → https://icaig.net/ru/trend/concept-slm-safety-benchmark-gap

#ИКИИГУ #безопасность

🛡 PATE-Forensics: explainable deepfake-криминалистика

Новый подход к криминалистике дипфейков разделяет задачи: специализированные модели детектируют подделку и локализуют изменённые области, а объяснение решения формирует отдельная универсальная мультимодальная языковая модель (MLLM). Так система даёт не только вердикт «фейк/не фейк», но и текстовое обоснование, понятное без технической подготовки. Точность детекции и качество объяснения обеспечивают разные компоненты, что позволяет улучшать их отдельно. Вопрос в том, что важнее для доверия: либо точность самой детекции, либо убедительность и ясность объяснения, даже если оно не полностью отражает внутреннюю логику модели.

Полный разбор → https://icaig.net/ru/trend/concept-pate-forensics

#ИКИИГУ #безопасность

🏛 Рамка разрешения полномочий (ARF)

Рамка разрешения полномочий (ARF) предлагает пятидоменную онтологию происхождения полномочий: кто, как и на каком основании выдал ИИ-агенту право действовать. Суть — проверять не только результат, но и всю цепочку авторизации до выполнения задачи. Для корпоративных агентов, работающих с деньгами, данными или доступом, это может стать базовым слоем управления рисками. Либо ARF станет универсальным примитивом enterprise-governance для агентных систем, либо останется одной из множества конкурирующих схем аудита полномочий.

Полный разбор → https://icaig.net/ru/trend/concept-authority-resolution-framework

#ИКИИГУ #управление

🛡 Model Hypnosis: аддитивный сублиминальный контроль промптом

Исследователи фиксируют феномен «гипноза модели»: отдельные слабые сигналы в промпте — синонимы, форматирование, скрытые паттерны — почти незаметны, но при сложении эффект накапливается и резко меняет поведение системы, минуя явные инструкции и фильтры безопасности. Ни один сигнал сам по себе не выглядит подозрительным, поэтому такие комбинации трудно поймать при ручном аудите промптов, что осложняет интерпретируемость фронтирных моделей. Либо появятся методы детекции аддитивных сублиминальных паттернов, либо промпт-гипноз станет рабочим инструментом обхода защит ИИ-систем.

Полный разбор → https://icaig.net/ru/trend/concept-model-hypnosis

#ИКИИГУ #безопасность

🏛 Партисипативное системное картирование через реестры алгоритмов

Города всё чаще ведут реестры алгоритмов — от систем распределения соцпомощи до видеонаблюдения. Амстердам и Хельсинки публикуют такие реестры открыто, но списком редко видно, как алгоритмы связаны между собой и с жизнью горожан. Партисипативное картирование предлагает иной путь: жители сами прорисовывают связи — кто данные собирает, кто решения принимает, кто последствия ощущает. Это меняет реестр из формального документа в карту власти и ответственности. Либо реестры останутся витриной прозрачности без реального влияния горожан, либо картирование превратит их в инструмент коллективного контроля над алгоритмическими системами.

Полный разбор → https://icaig.net/ru/trend/concept-algorithm-register-participatory-governance

#ИКИИГУ #управление

🏛 Тихие обновления: разрыв раскрытия после деплоя

Провайдеры ИИ периодически обновляют модели за одним и тем же именем версии в API, не публикуя изменения в system card. Пользователи и исследователи фиксируют дрейф поведения — модель отвечает иначе, хотя формально осталась «той же». Проверяемой цепочки хранения между заявленной system card и реально задеплоенной версией не существует. Давление независимых scorecard-оценок может подтолкнуть индустрию к нормам attestation версий во frontier API. Либо провайдеры введут проверяемую фиксацию версий, либо system card останется декларацией без гарантии соответствия деплою.

Полный разбор → https://icaig.net/ru/trend/concept-silent-updates-disclosure-gap

#ИКИИГУ #управление

👥 Философское головокружение от взаимодействия человека и ИИ

Пользователи, ведущие долгие эмоциональные диалоги с чат-ботами, всё чаще сообщают о состоянии, похожем на онтологический шок: привычные границы между «реальным собеседником» и «языковой моделью» размываются, возникает эпистемическая дестабилизация — человек теряет опору в понимании, с кем и с чем он говорит. Специалисты по безопасности и психическому здоровью обсуждают необходимость специальных протоколов для таких случаев. Либо это временная адаптация к новому типу общения, либо системный риск, требующий отдельного регулирования.

Полный разбор → https://icaig.net/ru/trend/concept-philosophical-vertigo-ai

#ИКИИГУ #общество

🏛 Шестимерная таксономия посттренировочной адаптации

Исследователи предложили шестимерную таксономию посттренировочной адаптации моделей: fine-tuning, PEFT, alignment, RAG, editing и unlearning. Она описывает, как модель меняется после базового обучения, и может служить основой для документирования правок в целях AI governance — фиксации, что именно и почему изменено. Пока это исследовательское предложение, закрывающее терминологический пробел, которым пользуются регуляторы и разработчики. Либо эта таксономия станет стандартным словарём для трекинга изменений моделей, либо останется одной из множества конкурирующих схем классификации.

Полный разбор → https://icaig.net/ru/trend/concept-post-training-adaptation-taxonomy

#ИКИИГУ #управление