А тепер мовою цифр від самих OpenAI.

Я читаю їх статтю про GPT-5, де вони демонструють бенчмарки, в яких порівнюється нова модель з попередніми. І ось, що там показано.

Практично за всіма показниками стара модель о3 показує кращі результати за нову звичайну. Мається на увазі, що зараз є GPT-5 (звичайна) та GPT-5 Thinking. Різниця між GPT-5 Thinking та о3 у більшості випадків — в межах 1%-5%, за виключенням Healthcare.

Що до відсотка галюцинацій, то тут різниця відчутніша, але в абсолютних цифрах це приблизно 5% проти 1%.

Цікаві цифри про показник "Рівень обману", щоб повністю зрозуміти який, потрібно заглибитися у бенчмарки та чітко з'ясувати ці три показники:
- Coding deception
- CharXiv missing image
- Production traffic

Коротко, це про те, що чатбот вигадував, видаючи за правду.

В Code deception рівень обману знизився з 47% до 16%. Тут виникає питання до тих, хто "топив" за генерацію коду та цілих застосунків ChatGPT. А ви були в курсі цього відсотку? Бо це майже половина.

Далі у показниках про безпеку та безпечну допомогу від чатбота, OpenAI вже не показують значення для GPT5, а порівнюють о3 з GPT-5 (with Thinking), при чому різниця тут мінімальна всюди, крім показника для зловмисних порад.

До слова, графіки про ступінь обману також чомусь не містять даних для звичайного GPT-5, надаються дані лише для GPT-5 (with thinking).

Це моя спроба розібратися з новою моделлю без гайпу, аналізуючи показники, які є аргументами для доведення ефективності моделі. Тут виникає риторичне запитання. Чому я не бачу статей з подібним аналізом?

А ще таке запитання, яке буде відповіддю тим, хто скаже, мовляв, ця стаття вже написана самими OpenAI і я її й читаю. Резонно. Але ось запитання. Ми серйозно думаємо, що ті, хто вихваляє ChatGPT в соцмережах, і тим самим підігріває інтерес до нього, робили такий аналіз та порівнювали цифри?

Точно можу стверджувати одне. GPT-5 не революція. А знання вашої галузі та ваші інтелектуальні здібності досі відіграватимуть найбільшу роль у тому, яку користь буде давати вам ChatGPT. Ця роль значно впливовіша за підвищення ефективності роботи моделі з виходом GPT-5.