#полезное
😎 Artificial Analysis начали проверять API провайдеров на точность

Начали пока что с GPT OSS 120B, хотя такую практику стоило бы расширить и на другие модели. Тестируют модель, прогоняя несколько бенчмарков несколько раз на каждом API провайдере, при это показывают не только медианное значение, но и разброс результатов бенчмарков. Как оказалось, разница между провайдерами огромная — на AIME25 худший провайдер уступает лучшему на 15 процентных пунктов.

Хуже всех себя показали Azure, AWS и Nebius, хотя, казалось бы, у триллионных компаний должны быть ресурсы на контроль качества. А вот лучше всех себя показали инференс стартапы — Fireworks, Novita и DeepInfra. Cerebras даёт лучшие результаты на AIME25, но на GPQA и IFBench заметно просаживаются.

Такой разброс может быть результатом как багов в софте, так и незадокументированных изменений в процессе инференса, вроде квантизации. Инференс LLM всё же крайне сложное дело — мелкие неточности в подсчётах могут крайне сильно повлиять на результаты, особенно если речь идёт о fp8 инференсе. Поэтому независимые и стандартизированные бенчи настолько важны. Ну а Artificial Analysis стоит подумать, как убедится что провайдеры не используют практики Volkswagen.

👉Новости 👉База вопросов