Мой внутренний скептик против цифр из OpenAI

Я тут залез в свежий отчёт OpenAI — и до сих пор чешу затылок. Они посчитали, сколько их собственные сотрудники тратят на ИИ-агентов. И знаете, эти цифры заставляют меня чувствовать себя... скажем так, скромно.

Сначала про деньги

Обычный сотрудник OpenAI прогоняет по цене API до $600 в день. Исследователь — $7 000. Не в месяц, а в день, и это последний из 10% лучших . Разница на порядок, и это не потому, что они транжиры. Просто исследователи пишут код тоннами: каждую гипотезу надо проверить, каждую цифру — просчитать. Прикладная математика, ничего личного.

Теперь про время

Если перевести всё это в стандартные 8-часовые дни, получается так: на каждый рабочий день живого исследователя приходится + 3,1 рабочего дня агентов. Один человек плюс почти три с половиной цифровых землекопа в придачу.

А задачи-то серьёзные?

Скептик во мне шепнул: «Небось гоняют агентов по кнопкам». Отнюдь. Некоторые задачи агенты тянут автономно до 128 часов — это больше пяти суток. Без сна, без обеда, без «ой, я забыл сохранить».
Но есть нюанс. Чем дольше марафон, тем чаще нужен человек с ружьём. Смотрите на цифры:
— Задачи до 15 минут: 86% успеха вообще без человека.
— Задачи от 8 до 16 часов: 40% в полной автономии плюс 48% с подключением человека. Итого 88%.

По-моему, для «стажёра», который не уходит в отпуск, — вполне себе результат.

Мы пока не запускаем агентов на 128 часов и не жжём по $7 000 в день. Но без них я уже начинаю чувствовать себя неуютно — как без смартфона. Вроде и не критично, но рука сама тянется проверить, не пропустил ли чего.

И вот что мне покоя не даёт: если один исследователь в OpenAI уже командует тремя цифровыми землекопами, то что мешает нам перестать копать вручную?

Или мы всё ещё ждём, пока лопата сама догадается?

👍 @chupritski 👍