⚡️ Google DeepMind представила FACTS Benchmark - новый набор тестов для оценки фактической точности LLM.

Коротко:
- DeepMind и Kaggle запустили FACTS Benchmark Suite для системного измерения фактической точности моделей в разных режимах.
- В набор входят 4 направления:
• Parametric - проверка внутреннего знания модели
• Search - ответы с использованием веб-поиска
• Multimodal - вопросы на основе изображений
• Grounding v2 - ответы на основе предоставленного контекста

- Всего 3 513 примеров; часть данных скрыта и используется только для официальной оценки и лидерборда.
- Топовые модели прошли тестирование: Gemini 3 Pro показывает лучший общий результат - 68.8% FACTS Score, значительно опередив Gemini 2.5 Pro, особенно в задачах Search и Parametric.
- Самой сложной областью остаётся мультимодальная фактуальность - ни одна модель не превысила порог в 70%, что показывает, насколько далеко ещё можно улучшать точность.

Новый бенчмарк даёт более реалистичную картину того, как модели справляются с фактами в разных режимах и насколько они надёжны в реальном использовании.

https://deepmind.google/blog/facts-benchmark-suite-systematically-evaluating-the-factuality-of-large-language-models