Вчера Open AI выкатили новые «дешевые» и умные модельки gpt-5.4-mini и gpt-5.4-nano и все вокруг пишут, как же круто, какие же они дешевые, а я решил сделать быстрый замер на реальной нашей задаче. Вот результаты

Контекст
Есть задача в одной из внутренних систем - метчить кандидатов на запросы при помощи LLM. Сейчас там используется моделька gpt-5-mini с low effort

Методика эксперимента
При тех же самых входных данных и промптах - меняем модельки и effort для них и смотрим на результаты

Замеры
На скриншоте

Итоги
1) Конкретно в нашей ситуации чуть лучший результат по качеству результата выдает gpt-5.4-mini с medium effort. Но по цене получается в ±3.5 раз дороже
2) gpt-5.4-mini с low effort выдает результат стабильно хуже, чем gpt-5-mini (незначительно, но хуже). Стоимость при этом примерно в 2 раза дороже
3) gpt-5.4-nano стабильно выдает в нашей задаче худшие результаты
4) Все модельки gpt-5.4 работают в 3+ раза быстрей