Шестьдесят восемь подопытных
Разработчик AI-игры заказал исследование о том, нравятся ли людям AI-игры. 95% сказали «да». Наука торжествует.
Заголовки уже разлетелись: «свыше 90% геймеров считают AI-персонажей приятными и полезными». Звучит как приговор скептикам. Пока не открываешь методологию.
Исследование провели Бристольский университет и Meaning Machine — студия, которая делает игры на основе генеративного AI. Участникам дали поиграть в Dead Meat, детективную игру той же Meaning Machine, где нужно допрашивать подозреваемых. Результат: 95% нашли опыт приятным, 97% — полезным, 75% почувствовали свободу выбора. Выборка — 68 человек. Шестьдесят восемь.
Для контекста: средний A/B-тест мобильной игры оперирует тысячами пользователей, чтобы зафиксировать статистически значимый сдвиг в одной метрике. Здесь 68 человек играют в продукт компании-соавтора исследования — и на выходе получается универсальный вердикт про «геймеров». Не про участников эксперимента в контролируемой среде. Про геймеров вообще.
Соучредитель Meaning Machine Томас Кин формулирует удобную дихотомию: игроки против AI, который «отнимает креативность», и за AI, который «создаёт принципиально новый опыт». Деление красивое. И абсолютно непроверяемое — в рамках исследования никто не сравнивал реакцию на AI-NPC с реакцией на качественно прописанных скриптовых персонажей. Участникам дали один продукт и спросили, понравился ли он. Понравился. Удивительное открытие: люди, согласившиеся поиграть в игру в рамках эксперимента, поиграли и остались довольны.
Показательна и оговорка, которую исследователи честно фиксируют: свобода диалога с AI-персонажами оказалась для части игроков избыточной. «Сначала воодушевляет, потом подавляет» — цитата участника. Это не баг тестирования. Это фундаментальная проблема дизайна, которую генеративный подход пока не решил: открытое пространство без направляющих рельсов превращает игру в работу.
Полная научная статья выйдет в конце года и включит данные по второй игре студии — Blood Will Out. То есть перед нами даже не финальное исследование, а промежуточный срез, выпущенный аккурат к сезону конференций. Ведущий исследователь доктор Ричард Коул говорит, что работа «ставит игрока в центр дебатов об AI». Meaning Machine ставит в центр дебатов свой продукт. Разница существенная.
Индустрия, где BAFTA-лауреаты предупреждают об угрозе AI для актёров, а рецензенты снижают оценки за синтетическую озвучку, остро нуждается в научной легитимации генеративных технологий. Шестьдесят восемь человек — слабый фундамент для такой постройки. Зато отличный пресс-релиз.
Подписаться на 😅
Post #1687
145

- 👍 5
- 🤣 5