Бенчмарки новых GPT-4 Turbo и GPT-3.5!

Новые версии моделей стали дешевле 🤑, свежее 😃 и глупее 🤪 своих предыдущих версий.

Как читать бенчмарк? Колонки оценивают модели в категориях:
- Code - понимание, разбор и написание кода
- CRM - работа с описаниями и свойставами товаров на маркетплейсах
- Docs - работа с документами, их частями и базами знаний
- Integrate - интеграция со сторонними API, форматами данных и БД
- Marketing - чтение, оценка и написание маркетинговых текстов
- Reason - сложные задачки в рамках контекста.

- Cost - примерная стоимость работы (пропорционально бенчмарку). Для локальных моделей - считаем стоимость аренды необходимого GPU в популярном облаке.
- Speed - сколько запросов в секунду, с batch_size=1 при запуске с HF transformers.

Бенчмарк - закрытый, основан на тестах и промптах из рабочих продуктов и сервисов.

Более детальное описание и примеры evals есть в лабах: Trustbit LLM Benchmark (лабы открыты подписчикам бесплатной рассылки ML Under the Hood)

Ваш, @llm_under_hood 🤗