AI2 опубликовал систему ArtifactLinker, которая предсказывает, какие из размещённых на платформе HuggingFace моделей способны установить новый SOTA-рекорд на конкретных бенчмарках.
Авторы исходят из того, что большинство моделей тестируются лишь на небольшой части существующих бенчмарков, а значит, многие LLM никогда не проверялись на задачах, где могли бы показать лучший результат.
🟡Принцип работы
Сначала графовая нейросеть (либо языковая модель с графовым контекстом) ранжирует ещё не оценённые пары по вероятности достичь нового рекорда.
По утверждению института, такой подход превосходит методы ранжирования, основанные исключительно на промптинге языковых моделей.
На втором этапе LLM-агент, способный писать и исполнять код, проводит реальную оценку отобранных пар.
Промежуточные результаты сохраняются в общей памяти и используются при последующих запусках.
По данным AI2, агент воспроизводит метрики с точностью до 80% в 72,6% случаев.
Среди наблюдений авторов интересно то, что более свежие LLM, в частности Gemma, нередко уступают существенно более ранней архитектуре DeBERTa на задачах распознавания логических отношений между утверждениями.
Вместе с кодом ArtifactLinker опубликован ArtifactBench - гетерогенный граф из 14 тыс объектов HuggingFace (модели, датасеты, научные статьи, репозитории кода) и 51 тыс связей между ними, включая результаты оценок, эпизоды дообучения и взаимные ссылки.
Институт позиционирует бенч как ресурс для задач предсказания связей в графе и регрессии метрик качества моделей.
📌Лицензирование: Apache 2.0 License.
🟡Arxiv
🟡Бенчмарк
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LLM #Benchmark #ArtifactLinker #Ai2