Цена внедрения | Михаил Омельченко

Channel photo updated

Сотрудник говорит, что с нейросетью работает медленнее. Решение по этой фразе обычно принимают за минуту и на глаз, либо он саботирует, либо инструмент не годится. Прежде чем выбирать из двух, посмотрите, чем это закончилось у тех, кто пробовал измерить это всерьёз.

В 2025 году исследовательская группа METR взяла 16 опытных разработчиков open source и 246 реальных задач из их собственных репозиториев. С ИИ они решали задачи на 19% дольше, и это центральная оценка. До начала они ждали ускорения на 24%, а после, уже поработав, считали, что ускорились на 20%. То есть в среднем замедления на себе они не заметили. Это одна работа на одном типе людей и задач, а не отраслевой замер.

В феврале 2026 года та же группа отчиталась о попытке повторить замер на нынешних инструментах. Надёжной оценки не получилось. У прежних участников вышла оценка ускорения минус 18%, то есть снова замедление, но доверительный интервал растянулся от минус 38% до плюс 9%. У набранных заново минус 4% при интервале от минус 15% до плюс 9%. Оба интервала накрывают и замедление, и ускорение, то есть на вопрос "быстрее или медленнее" не отвечают. Цифру 2025 года повторить не удалось, и это вопрос к ней самой, а не только к спору про вашего сотрудника.

Помешали не инструменты, а то, кто согласился участвовать. Часть разработчиков отказалась работать без ИИ, тем более что оплату к этой волне снизили со 150 долларов в час до 50. Часть обходила стороной ровно те задачи, где ИИ помог бы сильнее всего. Сами исследователи пишут, что их оценка смещена вниз, но доказать это своими данными не могут и переделывают эксперимент.

Вот что здесь важно для вас. Люди, у которых на это есть годы, деньги и живые участники, со второй попытки написали честно: числа, на которое можно опереться, у них нет. А решение по вашему сотруднику принимают на одном человеке и за один разговор.

Один человек, это не данные. У него могла быть другая задача, он мог не спать ночь, мог не разобраться в инструменте и постесняться в этом признаться.

Прежде чем решать про человека и про инструмент, я бы посмотрел на три вещи. Замера уровня METR у вас не будет, и он не нужен: вам не надо доказывать эффект по отрасли, вам надо понять, что происходит на ваших задачах.

1) замер до. Если вы не знаете, сколько та же работа занимала месяц назад, любое число после внедрения будет ощущением, а не результатом
2) две группы на одинаковых задачах, одни работают с инструментом, другие как работали. Срок задаёт объём работы, а не календарь, сравнивать надо одинаковые куски
3) мерить время до готового результата и число переделок, а не количество обращений к модели и не объём написанного ей текста

И честное "но". Может выясниться, что человек прав, и на его задачах инструмент действительно замедляет, потому что за ним нужно перечитывать. Это не повод его убирать, это повод знать, на каких задачах он не нужен.

Пока нет замера до, спор про скорость, это спор двух мнений, и выигрывает его тот, кто громче.

Откуда числа: METR, исследование от 10.07.2025 (metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/) и отчёт о попытке повторить его от 24.02.2026 (metr.org/blog/2026-02-24-uplift-update/).

А у вас есть цифра, с которой можно сравнить?

Решил взять цены на модели там, где им положено лежать, у самого поставщика и не нашёл их.

У шлюза, через который я хожу к моделям, есть служебный запрос со списком того, что доступно. В ответе 42 модели. В описании модели есть имя, размер окна контекста, владелец и признак подписки. Поля с ценой нет ни в одном описании. Проверку повторили в два захода, результат тот же.

Получается, любой мой расчёт стоит не на данных поставщика, а на ставке, переписанной руками со страницы прайса. Ставку меняют, и предупреждать об этом никто не обязан, поэтому рядом с числом я записываю дату, на которую оно верно.

Что из этого следует для вас, три вещи:
1) слайд "модель стоит столько-то за миллион токенов" стоит на ставке, переписанной руками, если поставщик не отдаёт цену. Спрашивайте, откуда взято число и на какую дату

2) настоящее число даёт счёт за период, а разложить его по задачам и командам получится только там, где поставщик отдаёт расход по вашим ключам

3) прежде чем сравнивать поставщиков по цене, спросите, отдают ли они расход в машинном виде и по каждому ключу. Если нет, себестоимость своей задачи вы посчитаете только руками, перемножив токены на ставку с их страницы, и сверить это будет не с чем, кроме общей суммы в конце месяца

Цена в презентации, это оценка. Счёт за месяц, это факт.

Вы знаете, сколько ваша компания потратила на модели в прошлом месяце по факту, а не по плану?

Счёт может прийти за ответ, которого вы не получили. Так устроен подсчёт токенов.

Случай с этой неделе. У ответа модели есть потолок длины, его задаёт тот, кто пишет код. Потолок у меня стоял тесный.

Ответ пришёл пустой. Не короткий, а пустой, текста нет вовсе. Счётчик при этом показал 201 выходной токен и они посчитаны как использованные.

Причина в том, что эта модель сначала рассуждает про себя и только потом пишет ответ. Невидимая часть тоже считается токенами. Весь тесный бюджет ушёл на рассуждение, а рассуждение шлюз наружу не отдаёт.

У другого поставщика та же ситуация выглядит иначе, ответ приходит оборванным на полуслове, но приходит. Пустая строка, это поведение конкретного шлюза, и узнать про него можно только на своём прогоне. Платите вы в обоих случаях: за пустую строку и за оборванный текст, который придётся запрашивать заново.

Поодиночке такие ответы не видны, речь про копейки. Видны они становятся в отчёте за месяц, где удачный и неудачный прогон стоят одинаково и в счётчике токенов выглядят одинаково. За один день у меня их набралось четыре, в двух материалах подряд.

Так выглядит вторая строка счёта, оплата по факту использования. Состоит она не только из удачных ответов.

Считать надо не стоимость правильного ответа, а стоимость всех попыток до него.

У вас в расходе на модели видно, сколько попыток ушло впустую?

Счёт за внедрение приходит частями, и заранее вам называют только первую из них, стоимость подписок.

Представьте ремонт. Цену плитки за квадратный метр вы знаете заранее, а итоговая сумма собирается из работы, вывоза мусора и переделки того, что положили криво.

С внедрением так же. Я считаю его по семи строкам:
➡️ лицензии и подписки
➡️ оплата по факту использования, она считается по счётчику, и до конца месяца её не знает никто
➡️ время людей на то, чтобы научиться работать по-новому
➡️ время того, кто внедряет: настройка, доступы, правила использования
➡️ проверка результата, потому что за моделью кто-то читает
➡️ переделка процессов, регламентов и шаблонов под новый порядок работы
➡️ ошибка модели, кто за неё отвечает и сколько стоит исправление

Первые две строки приходят счётом, а большая часть остальных пяти оплачивается временем ваших людей, поэтому в бюджете их не видно.

Дальше в канале разберу эти строки, на своих задачах и со способом подсчёта.

А какие из семи строк вы считали у себя?

Цена внедрения | Михаил Омельченко pinned «Решение принято, бюджет выделен, подписки куплены на всех. Считается, что внедрение на этом закончилось. Через квартал выясняется, что счёт за подписку, это самая маленькая строка в смете. Я Михаил Омельченко, внешний технический директор по ИИ. 20 лет в…»

Решение принято, бюджет выделен, подписки куплены на всех. Считается, что внедрение на этом закончилось.

Через квартал выясняется, что счёт за подписку, это самая маленькая строка в смете.

Я Михаил Омельченко, внешний технический директор по ИИ. 20 лет в разработке, был техническим директором. Считаю, во что компании обходится внедрение.

Здесь буду показывать этот счёт целиком. Начну со своего, на своём железе и своих токенах, и рядом с каждым числом буду показывать, откуда оно взято.

Сколько на самом деле стоит ассистент, агент и свой сервер с моделью, вместе со временем людей, которые всё это внедряют и переучиваются под новый порядок работы.

Где внедрение упирается не в модель, а в людей и процессы. Что делать, когда сотрудник говорит, что с нейросетью работает медленнее, и как это проверить не на одном человеке.

Чего здесь не будет: обзоров, какая нейросеть лучше, и подборок готовых промптов. Не потому, что это лишнее, а потому, что на счёт внедрения они не отвечают.

Из работы с компаниями беру только общие наблюдения, без имён и без подробностей.

Пишу нечасто и по делу. Если захотите обсудить свой случай, пишите лично: @DJWOMS

А вы считали, во что вам обошлось внедрение, или знаете только сумму подписки?

Channel created