Как работает индустрия бэнчмарков

Как на самом деле рисуются цифры, урезаются параметры модели и подсовывается одно и тоже под видом нового.

Честная и самая объективная АНАЛитика. Ну и самые праведные и удобные таймкоды для вашего удобства:


00:00 — Что такое бенчмарк
02:14 — Бенчмарки всегда растут
03:38 — Бенчмарк != реальная работа
04:50 — Практика всему голова
07:03 — Следование инструкциям
08:41 — Жрите токены на мышление
11:57 — Системный промпт тихо меняют на сервере
15:15 — Как корпорации манипулируют моделями
17:01 — Gemini: топ по бенчмаркам, но говно
20:08 — Китайцы, DeepSeek и культ бенчмарков