🧪 METR — небольшой институт из Беркли, известный тем, что ломает громкие заявления об ИИ на практических стресс-тестах. Весной им надоело читать посты о «суперпродуктивности» с ассистентами, и команда придумала испытание: взять проверенных опен-сорс-ветеранов, посадить за огромные проекты и засечь время по секундомеру.
Как проверяли
Выбрали 16 девелоперов, дали им 246 живых задач в репозиториях по миллиону строк кода. Перед стартом ребята оценили бонус в –24 % времени с Cursor Pro. На деле вышло +19 %. Чистый набор текста сократился, зато выросли минуты на формулировку промптов, чтение ответов и ожидание генерации.
Почему ощущения расходятся с часами
После коммита те же разработчики сказали, что якобы ускорились на 20 %. METR объясняет: ассистент снимает когнитивное напряжение — мозг воспринимает работу как лёгкую, даже когда стрелка таймера уходит вправо.
И что?
Для бизнеса — считать эффект ИИ лишь хронометром рискованно; важнее, как снижаются когнитивные затраты на поддержку крупного кода.
Для инвесторов — обещание «сократим время» требует уточнений, но рынок ассистентов с сильной UX-ценностью остаётся перспективным.
Для рынка — появится волна инструментов, оптимизирующих именно промпты и ревью машинного кода, чтобы вернуть секунды на место.
Телегу могут заблокировать, поэтому я сделал дайджест, который приходит на email. Подпишись, и ничего не пропустишь.
Post #1721
973

- 🔥 6
- ❤ 1