Международный отчет по безопасности ИИ

Под председательством Йошуа Бенджио издан второй отчет о безопасности ИИ. Среди ревьюеров можно найти Рассела, Хинтона и других хорошо известных ученых.
Основные выводы:

- Возможности ИИ общего назначения продолжают улучшаться, особенно в математике, программировании и автономной работе. Ведущие системы ИИ достигли высоких результатов в решении задач Международной математической олимпиады. В программировании агенты ИИ теперь могут надежно выполнять некоторые задачи, на которые у человека-программиста ушло бы около получаса, по сравнению с менее чем 10 минутами год назад. Тем не менее, производительность остается «неравномерной», и ведущие системы по-прежнему не справляются с некоторыми, казалось бы, простыми задачами.

- Улучшения в возможностях ИИ общего назначения все чаще достигаются за счет методов, применяемых после первоначального обучения модели. Эти методы «постобучения» включают в себя уточнение моделей для конкретных задач и предоставление им возможности использовать больше вычислительной мощности при генерации результатов. В то же время использование большей вычислительной мощности для первоначального обучения продолжает также улучшать возможности модели.

- Внедрение ИИ происходило быстро, хотя и крайне неравномерно по регионам. ИИ внедрялся быстрее, чем предыдущие технологии, такие как персональные компьютеры, и по меньшей мере 700 миллионов людей сейчас еженедельно используют ведущие системы ИИ. В некоторых странах более 50% населения использует ИИ, хотя в большей части Африки, Азии и Латинской Америки уровень внедрения, вероятно, остается ниже 10%.

- Развитие научных возможностей ИИ усилило опасения по поводу его неправомерного использования в разработке биологического оружия. Несколько компаний, занимающихся ИИ, решили выпустить новые модели в 2025 году с дополнительными мерами безопасности после того, как предварительные испытания не смогли исключить возможность того, что они могут существенно помочь новичкам в разработке такого оружия.

- Появилось больше свидетельств использования систем ИИ в реальных кибератаках. Анализы безопасности, проведенные компаниями, занимающимися ИИ, указывают на то, что злоумышленники и связанные с государством группы используют инструменты ИИ для содействия в кибероперациях.

- Проведение надежных предварительных испытаний на безопасность стало сложнее. Модели стали чаще различать условия тестирования и реальное развертывание, и использовать лазейки в оценках. Это означает, что опасные возможности могут остаться необнаруженными до развертывания.

- Обязательства отрасли по управлению безопасностью расширились. В 2025 году 12 компаний опубликовали или обновили «Рамочные стандарты безопасности ИИ на передовом уровне» — документы, описывающие, как они планируют управлять рисками по мере создания более совершенных моделей. Большинство инициатив по управлению рисками остаются добровольными, но в некоторых юрисдикциях начинают формализовать некоторые практики в качестве юридических требований.