Обучение на тестовых данных - новый вид искусства

Андрей Карпати в итогах года аргументированно объяснил ровно то, о чем я интуитивно писал в прошлом посте.

Публичным бенчмаркам LLM-ок нельзя доверять, когда вы выбираете модель для своей задачи. Нужно делать свои тесты.

Все исследователи LLM специально тюнят свои сети под бенчмарки - типа решать ЕГЭ. Чтобы занимать первые строчки в рейтингах.