Рассмотрите эти сайты, если хотите понять, насколько реально хороша новая ИИ-модель, а не ориентироваться только на красивые цифры из презентации разработчиков.
1. Artificial Analysis — общий рейтинг моделей: качество, скорость, цена, контекст
→ artificialanalysis.ai
2. Arena AI — сравнение моделей по голосованиям пользователей
→ arena.ai
3. METR — насколько долго AI-агенты способны самостоятельно выполнять сложные задачи
→ metr.org
4. ARC-AGI-2 — тест на абстрактное мышление и решение новых задач
→ arcprize.org
5. LLM Stats — характеристики, цены и сравнение популярных LLM
→ llm-stats.com
6. SWE-bench — насколько хорошо модель реально чинит код и решает GitHub Issues
→ swebench.com
7. Terminal-Bench — проверка AI-агентов на задачах прямо в терминале
→ tbench.ai
8. OSWorld — умеет ли AI работать с компьютером: окна, приложения, интерфейсы
→ osworld-v1.xlang.ai
9. BFCL — насколько хорошо модель вызывает инструменты и функции
→ gorilla.cs.berkeley.edu
10. Vectara — тесты на галлюцинации и качество ответов моделей
→ vectara.com
Забирайте в закладки за лайк 💕
@edprogramming