Тянуть ли топовую модель на рутину? Прогнал четыре штуки через пять одинаковых задач и сверил результаты

На Хабре всю неделю кипели: мол, нужен ли кодеру самый умный движок или на бытовухе прокатит бюджетный. Триста комментов — и ни единого замера, где всем выдали бы одно и то же.

Автор не стал спорить, а взял и сделал. Пять рутинных тасок, четыре модели из одного семейства, по два прогона на каждую, сверху — скрытые тесты. На выходе сорок запусков.

И вот сюрприз: самая дорогая оказалась самой шустрой — 341 секунда против 395 у самой дешёвой. Всё потому, что ей хватает меньшего числа ходов и вдвое меньшего объёма текста.

Четыре задачи из пяти затащили все, 32 прогона из 32. А на пятой младшенькая налепила баг и отчиталась двумя галочками кряду, причём вторая перечёркивает первую.

Читать далее

👉 QA-логия