Prompt: Создать симуляцию пиратского корабля, плывущего по открытому океану. Использовать HTML/CSS/JS в одном HTML-файле.
Output:
- 974 строк HTML (gpt-5.2-extended-thinking)
- 427 строк HTML (gemini-3-pro)
- 189 строк HTML (grok-4.1-thinking)
- 770 строк HTML (opus-4.5-thinking-32k)
Детали модели:
- gpt-5.2-extended-thinking: Оценка 8.8/10. Время рассуждения: 25 с, общее время ответа: 230 с, всего слов в рассуждениях: 214
- gemini-3-pro: Оценка 9.0/10. Время рассуждения: 12 с, общее время ответа: 51 с, всего слов в рассуждениях: 194
- 4.1-thinking: Оценка 8.5/10. Время рассуждения: 69 с, общее время ответа: 82 с, всего слов в рассуждениях: 282
- opus-4.5-thinking-32k: Оценка 9.0/10. Время рассуждения: 14 с, общее время ответа: 123 с, всего слов в рассуждениях: 333
*Во всех экспериментах используется самый первый, «сырой» вывод модели, без ретраев и дополнительного тюнинга промпта.
Code: GitHub с оригинальным кодом и дополнительной статистикой
*У ни одной модели нет кастомных инструкций, «личность» chatgpt стоит в значении default
*Время на рассуждение замерялось вручную, начиная с момента нажатия Enter. На скриншотах таймер стартует только когда модель начинает инференс, и между этими событиями есть небольшая задержка. Поэтому значения могут немного не совпадать.
Post #2417
4.52K