TGViewer
AGI Boardroom | Никита Худов AGI Boardroom | Никита Худов @agi_boardroom · 1.23K subscribers
Post #216 354
Период полураспада бенчмарка

Вышла моя новая большая статья на VC про срок жизни ИИ-бенчмарков.
Я собрал датасет из 34 бенчмарков за десять лет и посчитал «период полураспада» каждого: медианный срок жизни теста сжался с трёх лет до пяти месяцев — то есть стал короче, чем типичный пилот внедрения.

Внутри — почему тесты умирают так быстро (и почему это не заговор лабораторий), пять способов мерить ИИ и три величины, по которым стоит принимать решение о закупке/внедрении вместо балла на лидерборде.
  • 🔥 5
  • ❤ 3
More from @agi_boardroom
  1. Sep 24, 2026Собрал свой AI бенмчарк из 3000+ вопросов по вину и сравнил разные LLM по уровню винных зн…
  2. Sep 20, 2026🗞 AGI Boardroom — еженедельный дайджест неделя 38, 14–20 сентября Главный сюжет недели —…
  3. Sep 19, 2026Post #229
  4. Sep 19, 2026Если вдруг вы думали, что бы почитать на выходных... То мы выпустили большое исследование…
  5. Sep 13, 2026🗞 AGI Boardroom — еженедельный дайджест неделя 37, 7–13 сентября Неделя про пределы мощно…
  6. Sep 9, 2026Собрал 300+ кейсов AI в винной сфере Продолжаю знакомить вас с моим проектом Vinum ex Mach…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →