Вчера Anthropic опубликовал исследование AI Fluency Index. Они проанализировали почти 10 тысяч разговоров с Claude и измерили, насколько люди умеют работать с ИИ эффективно.
Главная находка: когда ИИ создаёт что-то красивое — код, документ, презентацию — мы перестаем думать критически.
К слову, обсуждаем это в TO DUAL уже несколько месяцев
Ну и любимое — цифры: если ИИ генерирует артефакт (файл, приложение, таблицу), пользователи на 5.2% реже проверяют, чего не хватает в ответе. На 3.7% реже проверяют факты. На 3.1% реже спрашивают, почему ИИ рассуждал именно так. То есть чем красивее и завершеннее выглядит результат, тем меньше мы его проверяем. При этом мы больше времени тратим на то, чтобы объяснить ИИ, что именно нужно. Уточняем формат, даем примеры, итерируем. А потом получаем красивый результат — и перестаем задавать вопросы. Выглядит готово, значит готово.
И пока это главная проблема как для нас с вами, так и для разработчиков. Потому что ИИ ошибается чаще всего именно на сложных задачах. А сложные задачи — это как раз те, где результат выглядит профессионально. Код работает, документ оформлен, таблица с графиками.
Anthropic выделяет три вещи, которые отличают людей с высоким AI fluency:
✨ Они продолжают разговор. 85% эффективных разговоров с ИИ — это итерации. Не взял первый ответ и ушел, а уточнил, переспросил, попросил переделать. Разговоры с итерациями показывают в два раза больше признаков грамотной работы с ИИ.
✨ Они проверяют красивые результаты. Именно когда ИИ выдал что-то полированное — самое время остановиться и спросить: это точно? чего не хватает? логика держится?
✨ Они устанавливают правила взаимодействия. Только 30% пользователей говорят ИИ, как именно они хотят работать. Например: «Если мои предположения неправильные, скажи об этом», «Объясни свою логику, прежде чем давать ответ», «Скажи, в чем ты не уверен». Я вот, например, всегда прошу ИИ сделать фактчекинг, даже если делаю какую-то простую задачу.
TLDR: ИИ научился делать результаты, которые выглядят профессионально. А мы не научились относиться к ним критически.
Читать исследование здесь:
https://www.anthropic.com/research/AI-fluency-index