TGViewer
Роман с данными Роман с данными @roma_data · 2.72K subscribers
Post #159 1.94K

Forwarded from LLM Arena

📈Рейтинги LLM теряют доверие

Наше исследование (21 июля — 10 августа 2025, практики и предприниматели в сфере ИИ) показало реальную картину: команды всё меньше ориентируются на абстрактные бенчмарки и всё чаще принимают решения через собственные тесты.

👀 Ключевые данные:

— 82,2% проводят собственные проверки и используют бенчмарки только как дополнительный сигнал.

— 26,7% принципиально не опираются на рейтинги.

— Лишь около 18% обращаются к агрегаторам по типу llmstats

Главные критерии выбора AI-решений для продуктов: качество + цена + скорость, устойчивость без галлюцинаций и совместимость с инфраструктурой

📄Отдельная ценность исследования — мы постарались отразить мнение участников рынка таким, какое оно есть: с аргументами «за» и «против», со скепсисом и практическими отзывами. Полный отчёт с графиками, аналитикой и комментариями уже доступен на сайте.

P.S. Огромная благодарность всем, кто помогал собирать данные для исследования, а также авторам и энтузиастам, помогающим его популязировать. Замечания по исследованию и предложения по будущим рисёрч-проектам можно оставить здесь.
  • 👍 13
  • ❤ 6
  • 🔥 6
More from @roma_data
  1. Aug 11, 2026⭐️ Новая арена и вклад в развитие сообщества В этом году LLM Arena стала победителем на пр…
  2. Jun 30, 2026Так, я не дурак 😀 Yupp сжег 33 ляма баксов и закрылся 😬😬😬 Что произошло: мы запустилис…
  3. Jun 21, 2026Ездил в апреле в США в SF - там все обсуждали harness Приехал на Саусхаб - снова harness,…
  4. Jun 10, 2026photo post
  5. Jun 10, 2026photo post
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →