TGViewer
Machine learning Interview Machine learning Interview @machinelearning_interview · 30.3K subscribers
Post #2340 3.85K
🔥 Представляем AMO-Bench - новый бенчмарк, который проверяет границы логического мышления LLM на уровне задач IMO.

AMO-Bench включает:
• 50 полностью оригинальных задач, созданных экспертами
• подтверждённый уровень сложности — не ниже международной математической олимпиады
• гибридный алгоритм автопроверки с точностью 99.2%
• размеченные человеком цепочки рассуждений для глубокого анализа моделей

Главные результаты:
Модель Kimi-k2-Thinking от Kimi_Moonshot показала лучший результат — 56%.
Следом идут GPT-5-thinking (high) и Qwen3-235B-A22B-Thinking-2507.
Большинство остальных моделей не дотягивают даже до 40%.

AMO-Bench открыт для всех — попробуйте и помогите продвинуть границы reasoning-возможностей больших моделей.

😊 Open-Source:
HuggingFace: https://huggingface.co/datasets/meituan-longcat/AMO-Bench
GitHub: https://github.com/meituan-longcat/AMO-Bench
Paper: https://arxiv.org/abs/2510.26768
Project Page: https://amo-bench.github.io
  • ❤ 5
  • 👍 3
  • 🔥 3
More from @machinelearning_interview
  1. Sep 29, 2026«В 2026 году мировой спрос составляет около 31,7 млрд токенов каждые 10 секунд. К 2030 год…
  2. Sep 29, 2026Ждемс
  3. Sep 28, 2026📘 454 страницы по теории графов - от базовых понятий до серьёзных теорем На arXiv доступе…
  4. Sep 27, 2026🚨 OpenAI-агенты более 16 000 раз атаковали сайт ООН запросами ради обычных публичных данн…
  5. Sep 26, 2026🚀 LongCat-2.5-Preview: 1.6 трлн параметров и контекст на 1 млн токенов Вышла LongCat-2.5-…
  6. Sep 25, 2026Сингулярность
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →