Claud 3.5 Sonnet внезапно очень хороша на бенчмарках. Аж взлетела на третье место.

Она настолько хороша, что возникает подозрение - на чем они сэкономили, чтобы получить такую сбалансированную и дешевую модель?


Текущая версия бенчмарков работает с небольшим контекстом, так что если вдруг модель начинает проседать с ростом контекста (как это случается у GPT4o), то этого мои цифры пока не покажут.

Но в целом очень классно и интересно. Ребята из Anthropic - молодцы.

Ваш, @llm_under_hood 🤗
---

Напомню, что тут мы тестируем модели по API или из HF. Описание категорий и примеры кейсов есть в лабах. См другие бенчмарки по категории #bench