"Как сравнивают LLM: бенчмарки" — новая лекция доктора технических наук Владимира Крылова на нашем YouTube-канале. Есть и в виде подкаста.

Из лекции вы узнаете:
🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны;
🔸как применяется шахматный рейтинг ELO для бенчмаркинга;
🔸что такое Leaderboard Arena;
🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM.

Появились вопросы — задавайте в комментариях!