Сколько времени живут ИИ бенчмарки?

Задался этим вопросом, когда готовил публикацию своего винного бенча на NeurIPS. Чтобы ответить на него, собрал данные по перформансу моделей на 224 бенчмарках и подготовил небольшое исследование с оценкой "периода полураспада".

Главные результаты:
1/ Период полураспада бенчмарка — 23 месяца. У вышедших до 2023 года он был 38 месяцев, у вышедших позже — 19. Оценка учитывает и ещё живые бенчмарки, поэтому короткая история новых её не искажает.
2/ Новые бенчмарки не проще старых, просто модели быстрее. Запас до потолка на старте у них прежний, а проходят его модели вдвое быстрее.
3/ Каждый седьмой новый бенчмарк умирает не от моделей, а от собственных дефектов. У агентных сред это причина почти половины смертей.

Подробности можно почитать в моей статье на Хабр. Там много интересной статистики и примеров.