Вышло одно из самых больших исследованиий о влиянии ChatGPT на производительность и оно показывает его сильный рост при использовании ИИ.

Подробности:

1. Респондентами были 7% консультантов Boston Consulting Group (758 консультантов). Было выбрана 18 задач, которые часто решают консультанты, разделели людей на тех кто использует ИИ, и тех, кто не использует, и консультанты, использующие ChatGPT-4, во многом ревзошли тех, кто нет, во многом.

2. Результат: использовавшие ИИ в среднем решали на 12,2% больше задач, выполнили задачи на 25,1% быстрее и добились на 40% более качественных результатов.

3. Какие задачи давались. Для обувной компании предлагалось решить пример вот таких задач: творческие («Предложить не менее 10 идей для новой обуви, ориентированной на недостаточно обслуживаемый рынок»), аналитические задачи («Сегментировать рынок обувной отрасли по пользователям»), писательские и маркетинговые задачи («Составить проект прессы». выпустите маркетинговую копию вашего продукта») и задачи по убеждению («Напишите сотрудникам вдохновляющую записку с подробным описанием того, почему ваш продукт затмит конкурентов»). Оценку давали представители обувной компании и люди-оценщиики.

Еще несколько интересных выводов

4. Исследователи ввели такой термин как «Неровная граница ИИ» ("Jagged Frontier") — это граница задач, которая отделяет те задачи, которые ИИ решает хорошо от тех, в которых он плох. Если человек не понимает эту границу и пытается использовать ИИ для тех задач, где он не очень, то качество использование ИИ у него падает.

Так напр. когда консультантам дали задачу, плохо решаемую ИИ, консультанты без ИИ правильно решали проблему в 84% случаев, но когда консультанты использовали ИИ, они добились худших результатов – 60–70% правильных решений.

5. Также нашли эффект «засыпания за рулем» - некоторые консультанты, использовавшие высококачественный ИИ, становились более ленивыми, небрежными и менее опытными в собственных суждениях. Исследователи объяснили это психологический эффект, что когда ИИ очень хорош, у людей нет причин усердно работать и уделять внимание. И авторитетность ИИ может быть обманчивой, если вы не знаете, где проходит «зыбкая граница».

6. ИИ показывает выравнивание производительности. Консультанты, набравшие худшие баллы, когда мы оценивали их в начале эксперимента без использования ИИ, продемонстрировали самый большой прирост производительности (43%), когда им пришлось использовать ИИ. Технология выравнивает производительность худших и лучших, как экскаватор у строителей.

7. Есть 2 модели использования ИИ: Кентавр и Киборг.

Кентаврическая модель - вы четко проводите границу задач между тем, что делаете вы, и что делаете ИИ, на основе сильных сторон обоих, как граница у кентавра. Напр. вы выбираете стат. методы, а ИИ строит график.

Подход киборга - смешение задач ИИ и человека, это как работа в тандемен, copilot. Танцы на зубчатой границе.

✅ Уже сейчас в интеллектуальных задачах рост производительности лежит не в создании софта, а в умении использовать ИИ для работы.
Инструменты, которые консультанты использовали для ускорения своей работы, точно такие же, как те, которые доступны каждому, кто читает этот пост (20$ месяц доступа к самому сильному ИИ, доступному людям). В 2024 году скорее всего появится еще 2 модели, сильнее, чем GPT4 (от Meta и Google) и неровная граница изменится еще раз, охватив больше задач.

[пост про статью] [оригинальная статья]