Четырём топовым моделям дали необычный агентный тест: самостоятельно построить в
Three.js интерактивные стенды для кубика Рубика и шахмат, а затем выполнить задания прямо внутри созданных приложений.В эксперименте участвовали:
- GPT-5.6 Sol;
- DeepSeek V4 Flash 0731;
- Qwen 3.8 Max;
- Kimi K3.
Сначала модели получили одинаковую комбинацию кубика Рубика.
GPT-5.6 Sol решил её за 24 хода и 17 секунд.
DeepSeek справился за 32 хода.
Qwen сдался после 96 ходов, а Kimi - после 207.
Затем каждая модель построила шахматную доску и сыграла белыми против Claude Opus 5 без движка, дебютной базы и подсказок.
Победить Claude не смог никто:
- DeepSeek сдался на 13-м ходу;
- GPT-5.6 Sol - на 19-м;
- Kimi K3 - на 21-м;
- Qwen продержался до 29-го.
По скорости разработки GPT-5.6 разгромил остальных:
GPT-5.6 Sol 16 мин 43 сек
DeepSeek 97 мин 39 сек
Kimi K3 166 мин 09 сек
Qwen 3.8 Max 215 мин 08 сек
Стоимость:
DeepSeek использовал больше всех токенов: 27,4 млн и пять попыток на создание рабочих стендов. Несмотря на это, весь эксперимент обошёлся всего в $0,557.
Для сравнения:
DeepSeek $0,557
GPT-5.6 Sol $6,319
Qwen 3.8 Max $10,270
Kimi K3 $16,667
Получились четыре совершенно разных профиля:
- GPT-5.6 Sol - самый быстрый и экономный по токенам, но пропустил баг, из-за которого при взятии исчезала не та фигура;
- DeepSeek - часто ошибается с первой попытки, зато может повторять снова и снова почти бесплатно;
- Qwen - самый медленный, но показал наиболее аккуратную шахматную игру;
- Kimi - активно проверял собственные результаты, но оказался самым дорогим и не справился с кубиком.
Иногда важнее получить результат за 17 минут. Иногда - иметь возможность сделать пять попыток за полдоллара.
Важно: это авторский эксперимент в Hermes Agent CLI, а не стандартизированный независимый бенчмарк.