Nous Research наконец-то реализовали идею, которая кмк давно уже витала в воздухе: скрестить блокчейн и ИИ, чтобы наконец-то получить объективный лидерборд для моделей

В топ лидерборда Huggingface давно залетают LLM размером всего в 7B, чисто из-за того, что популярные бенчмарки уже, скорее всего, попали в большие дампы всего интернета. Не говоря о том, что недобросовестные ресерчеры могут просто обучиться на тесте

Nous предлагают логичное решение – данные должны быть закрытые, постоянно обновляющиеся, но при этом обязательно децентрализованные. На их лидерборде GPT-4 постоянно догенеривает синтетические тестовые примеры, а эвалюаторы в распределенной сети Bittensor прогоняют добавленные модели на свежей выборке. Так, бенчмарк есть одновременно у всех и ни у кого, и при этом постоянно меняется 🤯

Очень хочу посмотреть, какое там будет ранжирование, когда туда закинут популярные модели последних месяцев 👀 Особенно с очень большими заявлениями о метриках в статье, типа SOLAR

https://huggingface.co/spaces/NousResearch/finetuning_subnet_leaderboard