Агент умнее PhD, а толку нет ? А как сделать чтобы был рассказывает a16z

А16z выпустил статью, где разбирает текущие сложности и перспективы ИИ в бизнесе

- Год назад лучшая модель показывала 42% на бенчмарке OSWorld-Verified, сейчас - 85% (люди справляются на ~72%)

- Но бенчмарк не равно реальность бизнеса: 85% успеха это 15 провалов из 100, а бизнес-процесс работает только если срабатывает каждый шаг

- Модель - теперь не главное узкое место. Проблема в инфраструктуре вокруг: контекст, права доступа, знание внутренних процессов компании, верификация, эскалация, обработка ошибок, кэширование

- Агенты сильнее всего на стандартизированных, повторяемых задачах с чётким протоколом (CRM, тикеты, порталы, обработка заказов) и слабее там, где сложно проверить правильность результата. Но там то как раз таки умная дорогая модель не нужна - часто достаточно open source

- Покупатели выбирают не модель, а инфраструктуру: надёжность, безопасность, простоту внедрения, доказуемый ROI. «Модели уже достаточно хороши» — общее мнение опрошенных

- Экономика уже работает: агент стоит ~$6–8/час (диапазон $3–15) — это на уровне офшорного BPO (~$10/час) и даёт 70–80% маржи против сотрудника в США ($30–45/час)

- Частый рабочий паттерн: агент один раз проходит workflow вручную. Система кэширует его как детерминированный код, дальше выполняет дёшево и быстро, а модель подключается снова только при сбое

Статья здесь: https://a16z.com/can-agents-use-a-computer-yet-weve-got-the-data/