Период полураспада бенчмарка
Вышла моя новая большая статья на VC про срок жизни ИИ-бенчмарков.
Я собрал датасет из 34 бенчмарков за десять лет и посчитал «период полураспада» каждого: медианный срок жизни теста сжался с трёх лет до пяти месяцев — то есть стал короче, чем типичный пилот внедрения.
Внутри — почему тесты умирают так быстро (и почему это не заговор лабораторий), пять способов мерить ИИ и три величины, по которым стоит принимать решение о закупке/внедрении вместо балла на лидерборде.
Post #216
354

- 🔥 5
- ❤ 3