Эксперимент: какая нейросеть лучше справляется с задачами ПТО

Началось всё со спора с ПТО.

Коллеги сказали примерно так: «Видели мы этот ваш DeepSeek. Ничего он особо не умеет. Наши задачи он решать не в состоянии».
Мне показалось, что это хороший повод проверить не общее впечатление от нейросетей, а конкретный результат на конкретной задаче (ну и в целом я закусилась конечно). Потому что одно дело - открыть бесплатный чат, получить слабый текстовый ответ и разочароваться и совсем другое сравнить несколько моделей на одной и той же задаче.
Мы взяли реальную задачу ПТО: эталонную ведомость объемов работ и три коммерческих предложения подрядчиков. Все в Excel. Нужно было сравнить 4 файла по 526 строк, и в каждом несколько листов: состав работ, объемы, цены и итоговые суммы, а затем понять можно ли выбрать какого-то подрядчика на основе этих данных.

Одна и та же задача ушла в Claude, ChatGPT и DeepSeek.

DeepSeek дал текстовый ответ (то есть не сделал отдельного файла). Его сильная сторона в этом эксперименте тоже была видна: он бесплатный, открывается без VPN, быстро доступен и поэтому действительно удобен как первая точка входа. Но на задаче с Excel он сработал слабо. Он уловил общий смысл, но не сделал самостоятельный файл, а в выводах появились фактические ошибки: часть расчетов он не увидел, по отдельным КП сделал неверный вывод о неполноте данных, ну и наошибался немало. Такой результат можно использовать разве что как черновое приближение, но не для рабочей сверки, ну и понятно что он разочаровывает.

Claude сделал Excel-файл с несколькими листами. Это уже был не просто ответ в чате, а нормальный рабочий артефакт: сводное сравнение, единичные расценки, замечания и вопросы для дальнейшего обсуждения. Его файл был удобен именно для управленческого взгляда на ситуацию. По нему быстро становилось понятно, какие предложения сопоставимы между собой, где цена выбивается, где есть вопросы к расценкам и что стоит уточнить у подрядчика перед выбором.

При этом Claude не был самым сильным именно в построчной проверке. Он скорее хорошо собрал картину для руководителя или переговоров: что происходит в целом, где риски, на что обратить внимание. Для такой задачи это полезно, потому что ПТО и руководителю проекта не всегда нужен только массив строк; иногда нужен понятный вывод, куда копать дальше. Но для специалиста ПТО результат не вполне полезен так как нет построчного технического аудита, нет технической сверки.

ChatGPT тоже сделал Excel-файл, но по логике результата он оказался ближе к техническому аудитору. Он разложил задачу на несколько листов: сводка, проверка объемов, сравнение цен, расхождения. Внутри была построчная сверка большого массива данных, помимо того он проанализировал данные под разными углами, все сложил и пересчитал.
Вот это уже было полезно для ПТО. Не просто фраза «объемы совпадают», а таблица, по которой можно и руками пройти и проверить, что именно сравнивалось и видно где ИИ сопоставил строки, где проверил количество и тд. Такой файл можно уже отдавать специалисту не вместо проверки, а использовать как основу для ускоренной проверки.

В итоге спор получился не про то, хорош DeepSeek или плох, и не про то, какая нейросеть «самая умная вообще».

Скорее стало видно, что разные модели дают разный тип рабочего результата, и если DeepSeek удобен как бесплатный и быстрый вход, но в этой задаче он не выдержал уровень технической проверки, то Claude хорошо собрал управленческую картину и вопросы для переговоров (поэтому для меня лично это основная рабочая модель), а ChatGPT лучше показал себя в сложной технической задаче.

И, конечно, в задачах ПТО финальная проверка всё равно остаётся за человеком, поскольку задачи ПТО инженерно-математические (а вот в задачах юристов модели пугающе прекрасны).