TGViewer
Кактус | ИИ для команд и бизнеса Кактус | ИИ для команд и бизнеса @aidea4work · 1.59K subscribers
Post #201 2.9K
Помните исследование, которым год пугали любителей ИИ? Оно только что шикарно развалилось

Есть такая контора — METR. Правда очень крутые ребята, тестируют ИИ в разных сценариях.

Летом 2025 они выкатили рандомизированное контролируемое исследование, всё по красоте. Участвовало 16 опытных разработчиков, Cursor + Claude. Результат: с ИИ они работали на 19% МЕДЛЕННЕЕ, чем без него 😬. А сами разработчики были уверены, что ИИ их УСКОРЯЕТ процентов на 20. То есть ощущение скорости и скорость поехали в разные стороны. 

Читали, наверняка )) 

Теперь прикол. 

METR запускает второй заход — новые модели, побольше народу. И в феврале 2026 честно пишет: слушайте, а мы не можем закончить эксперимент. Потому что разработчики ОТКАЗЫВАЮТСЯ работать в условии «без ИИ». 30–50% участников признались, что специально не подают часть задач — просто чтобы их не заставили делать руками. Один сформулировал кмк гениально:

«У меня голова взорвётся, если делать по-старому. Это как идти пешком через город, когда ты уже привык ездить на Uber.»

Вот и весь эксперимент 🤷‍♂️.

Оч хочется глазки приподзакрыть на сопутствующие обстоятельства, но удержусь. METR все-таки НЕ доказал, что «теперь ИИ ускоряет на 18%» — у них там доверительные интервалы недостоверные (через ноль), оплату срезали втрое, куча оговорок. Как чистое РКИ — это провал, и они сами это признают, молодцы канеш 🤝.

Но все-таки развалилось оно НЕ ОБ МЕТОДОЛОГИЮ. Люди ПРОГОЛОСОВАЛИ НОГАМИ. Довод «ИИ замедляет разработчиков» умер потому что подопытных невозможно затащить обратно в контрольную группу )).

Так что когда спорите про ИИ цифрами двухлетней давности — проверьте, живы ли ещё те цифры. А то мир меняется быстрее, чем выходит препринт 🙂
metr.org We are Changing our Developer Productivity Experiment Design Our second developer productivity study faces selection effects from wider AI adoption, prompting us to redesign our approach.
  • 🔥 11
  • 😁 6
  • 👍 3
More from @aidea4work
  1. Sep 25, 2026Менеджеров с агентами недостаточно, чтобы делать всю работу? В прошлом посте я собрал ссыл…
  2. Sep 10, 2026Нам как менеджерам проще 👇 работать с ИИ-агентами, чем исполнителям, даже технарям. (это…
  3. Sep 4, 2026Хорошая новость для всех, кого задрал нейрослоп: его наконец-то начали чинить на уровне мо…
  4. Sep 2, 2026Что добавляется в процесс при ИИ-разработке? Наш кейс замены легаси Со стартапами понятно:…
  5. Aug 6, 2026Ваши эмоции влияют на ИИ? Да, но не любые. Вы наверняка слышали, что если пообещать модели…
  6. Aug 3, 2026Я собрал 37 ИИ манифестов за два года и посмотрел, из-за чего на самом деле спорят и кто п…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →