Мой внутренний скептик против цифр из OpenAIЯ тут залез в свежий отчёт OpenAI — и до сих пор чешу затылок. Они посчитали, сколько их собственные сотрудники тратят на ИИ-агентов. И знаете, эти цифры заставляют меня чувствовать себя... скажем так, скромно.
Сначала про деньгиОбычный сотрудник OpenAI прогоняет по цене API до
$600 в день. Исследователь —
$7 000. Не в месяц, а в день, и
это последний из 10% лучших . Разница на порядок, и это не потому, что они транжиры. Просто исследователи пишут код тоннами: каждую гипотезу надо проверить, каждую цифру — просчитать. Прикладная математика, ничего личного.
Теперь про времяЕсли перевести всё это в стандартные 8-часовые дни, получается так: на каждый рабочий день живого исследователя приходится +
3,1 рабочего дня агентов. Один человек плюс почти
три с половиной цифровых землекопа в придачу.
А задачи-то серьёзные?Скептик во мне шепнул: «Небось гоняют агентов по кнопкам». Отнюдь. Некоторые задачи агенты тянут автономно
до 128 часов — это больше пяти суток. Без сна, без обеда, без «ой, я забыл сохранить».
Но есть нюанс. Чем дольше марафон, тем чаще нужен человек с ружьём. Смотрите на цифры:
— Задачи до 15 минут:
86% успеха вообще без человека.
— Задачи от 8 до 16 часов:
40% в полной автономии плюс
48% с подключением человека. Итого
88%.
По-моему, для «стажёра», который не уходит в отпуск, — вполне себе результат.
Мы пока не запускаем агентов на 128 часов и не жжём по $7 000 в день. Но без них я уже начинаю чувствовать себя неуютно — как без смартфона. Вроде и не критично, но рука сама тянется проверить, не пропустил ли чего.
И вот что мне покоя не даёт: если один исследователь в OpenAI уже командует тремя цифровыми землекопами, то что мешает нам перестать копать вручную?
Или мы всё ещё ждём, пока лопата сама догадается?
👍
@chupritski 👍