🔥 Представляем AMO-Bench - новый бенчмарк, который проверяет границы логического мышления LLM на уровне задач IMO.
AMO-Bench включает:
• 50 полностью оригинальных задач, созданных экспертами
• подтверждённый уровень сложности — не ниже международной математической олимпиады
• гибридный алгоритм автопроверки с точностью 99.2%
• размеченные человеком цепочки рассуждений для глубокого анализа моделей
Главные результаты:
Модель Kimi-k2-Thinking от Kimi_Moonshot показала лучший результат — 56%.
Следом идут GPT-5-thinking (high) и Qwen3-235B-A22B-Thinking-2507.
Большинство остальных моделей не дотягивают даже до 40%.
AMO-Bench открыт для всех — попробуйте и помогите продвинуть границы reasoning-возможностей больших моделей.
😊 Open-Source:
HuggingFace: https://huggingface.co/datasets/meituan-longcat/AMO-Bench
GitHub: https://github.com/meituan-longcat/AMO-Bench
Paper: https://arxiv.org/abs/2510.26768
Project Page: https://amo-bench.github.io
Post #2340
3.85K



- ❤ 5
- 👍 3
- 🔥 3