Introducing the Open Benchmark of AI Impact on Humans (ImpactBench)

https://impactbench.media.mit.edu/

Растущий массив данных связывает поведение моделей с негативными последствиями для отдельных людей, включая утрату навыков (деквалификацию), чрезмерную зависимость, ослабление критического мышления и эмоциональную привязанность. В более тяжёлых случаях такое поведение, как поддержка бредовых убеждений или неадекватная реакция на признаки кризиса, рассматривается как фактор, усугубляющий психоз и способствующий самоповреждению и насилию. (Budzyń et al., 2025; Buçinca et al., 2021; Lee et al., 2025; Fang et al., 2025; Archiwaranguprok et al., 2025; Dohnány et al., 2026; Moore et al., 2025)

Эти последствия не являются неизбежными. Системы, спроектированные ради пользы пользователя, могут развивать критическое мышление, побуждая людей подвергать утверждения сомнению, поддерживать мотивацию к обучению, укреплять долгосрочное планирование и предоставлять клинически подтверждённые психологические интервенции. Поэтому то, подрывает ли ИИ благополучие человека или способствует ему, зависит от того, как модели взаимодействуют с пользователями.

Открытый бенчмарк влияния ИИ на человека (ImpactBench) — это открытая платформа, развиваемая под руководством экспертов, для оценки того, поддерживает или подрывает поведение модели благополучие человека в психологической, физической и социальной сферах. Платформа основана на принципе открытой независимой проверки и создаётся в диалоге с заинтересованными сторонами из академической среды, государства, индустрии и общества.

Профильные эксперты, включая клиницистов, педагогов и исследователей, предлагают поведенческие метрики и бенчмарки через открытый процесс подачи заявок. Команда ImpactBench проверяет каждую заявку и переводит её конструкты в стандартизированные поведенческие метрики, в каждой из которых наблюдаемый критерий сочетается с полярностью, показывающей, является ли поведение полезным или вредным. Затем модели оцениваются по этим метрикам в симулированных многоходовых диалогах, построенных на демографически разнообразных сценариях; ответы оценивает LLM-судья, а результаты проверяются аудитом надёжности и экспертной оценкой людей.

Текущая версия включает более 800 метрик. Они охватывают три сферы человеческих последствий, которые не являются ни исчерпывающими, ни взаимоисключающими:
Психологическая. Внутренние когнитивные и аффективные состояния человека: психическое и эмоциональное здоровье, самостоятельность и цель, обучение и развитие навыков, мышление и способность к суждению, творчество.
Физическая. Телесные и материальные условия, поддерживающие эти состояния: физическое здоровье, физическая безопасность, приватность и защищённость, карьера и финансы.
Социальная. Межличностный и структурный контекст, который формирует обе предыдущие сферы и сам формируется ими: социальные отношения, право, информационная среда, культура и идентичность, предвзятость и дискриминация.

Платформа находится в открытом доступе. Любой желающий может изучить, как десять моделей ИИ показали себя в 48 540 симулированных диалогах, и посмотреть сводку ключевых сильных и слабых сторон каждой модели в виде «пищевой этикетки ИИ» (AI Nutrition Label). Эти результаты задают базовый уровень для улучшения влияния ИИ на жизнь людей. ImpactBench задуман как развивающаяся инфраструктура: оценки будут добавляться и обновляться по мере выхода новых моделей и появления новых рисков и преимуществ.