Як ви знаєте, API ChatGPT версії 5 дуже повільний. Нарешті виришів потестити версії 5.1 та 5.2. Для останної вони казали, що попрацювали над швидкістю.
Начальні дані:
- bash скрипт, який відправляє через curl запит до api chatgpt в форматі стріму та фіксує час першої відповіді та повної
- декілька останніх моделей
- простий промпт-задача для LLM
Результати на декількох тестах. З параметром "priority".
gpt-5-mini:
- 4.3 - 5.3 сек. отримання першого токену
- 14.3 сек. повна відповідь
gpt-5:
- 13 - 16 сек. отримання першого токену
- 23 - 29 сек. повна відповідь
gpt-5.1:
- 0.7 - 1.7 сек. отримання першого токену
- 10.3 сек. повна відповідь
gpt-5.2:
- 0.55 - 1.3 сек. перший токен
- 8.9 - 11.3 сек. повна відповідь
Версії 5.1 та 5.2 показали себе набагато краще 5 версії. В 10-15 разів швидче отримання першого токену та в 2 рази швидче отримання повної відповіді. Найкраще для API буде використовувати версію 5.2.
Ціни OpenAI на використання gpt-5.2 за 1млн. токенів в режимі "Priority".
- Вхідні токени $3.50
- Вхідні кешовані токени $0.350
- Вихідні токени $28.00
Виходе дорожче ніж, наприклад, gpt-4.1-nano в 20-30 разів. Але на невеликих об'ємах аналізу це не дуже помітно. Наприклад, аналіз стандартної сторінки буде коштувати приблизно 3 центи. Зато дуже швидко, а при необхідності проведення простих аналізів/класифікації можна завжди переключитись на 4.1-nano.
В DevakaTools AI Helper замість повільної версії 5 вже реалізована версія 5.2. Сам інструмент безкоштовний. Користуйтесь! В коментарях є відео для оцінки швидкості відповіді.
Post #5671
2.28K
- 👍 9