Новый апдейт, срезали косты в 16 раз🎉

OpenAI обновили свой API, и теперь мы экономим в 16 раз больше на работе со speaking. Что нового:

1. Появились две новые модели текстовых векторных представлений (text-embedding).

2. Улучшили GPT-3.5 Turbo, теперь он лучше выполняет запросы.

3. Снизили стоимость токенов для API: входные токены теперь стоят $0.0005 (на 50% дешевле), а генерируемые - $0.0015 (на 25% дешевле).

4. Обновили GPT-4 Turbo preview: улучшили генерацию кода и сделали модель более отзывчивой.

Пока эти изменения доступны только через API, но скоро выпустят GPT-4 Turbo с функцией "зрения" для всех.

Как это помогло сократить расходы:

1. Раньше мы использовали GPT-4 для Speaking, где бот говорил голосом. Модель создавала текст, который затем преобразовывался в речь (TTS), а потом отправлялся в чат. В декабре мы использовали 4,508,692 токенов, что стоило $145.17 (или $0.032 за 1000 токенов).

2. GPT-3.5 Turbo не юзали как раз из-за его проблемы следовать четко инструкции. Машина начинала пороть хрень, хоть и в контексте задачи. Сейчас протестил его снова, внес некоторые изменения в задание и немного изменил настройки модели и все заработало так как надо🚀.

3. Теперь мы платим около $0.002 за 1000 символов (фактически около $0.0011), без потери качества.

Радости полная таблица 😂📈. В прошлый раз мы так сильно резали косты когда OpenAI выкатили свою модель по генерации голоса через текст. Мы сидели на ElevenLab (лучшие на рынке и доступные), но когда OpenAI, мы все протестили, без особых заморочек перешли на их API и теперь в месяц уходит $0.030 / 1K символов вместо $0.30 за тот же объем, при этом, опять же, без заметной потери качества.

P.S. Еще б свалить с google cloud и вообще счастье будет.