Уже завтра, 3 октября, в 12:00 доктор технических наук Владимир Крылов расскажет о бенчмарках для LLM в своей новой лекции. Рассмотрим современные методы оценивания способностей больших языковых моделей решать различные задачи.

Вы узнаете:
🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны;
🔸как применяется шахматный рейтинг ELO для бенчмаркинга;
🔸что такое Leaderboard Arena;
🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM.

Подключайтесь! В этот раз будем транслировать не только на наш YouTubе, но и прямо здесь — в этот телеграм-канал. Выбирайте, где вам удобнее ☺️