Навигация по пространству репозиториев из Hugging Face.

Хорошее и наглядное представление знаний это уже почти полностью сделанная работа по аналитике. И ощущение, что в DL не хватает мета-обзоров всей индустрии с поиском глобальных трендов, а также разработкой структуры и систематизации знаний о разных подходах и их вариациях.

В работе Charting and Navigating Hugging Face’s Model Atlas представляют атлас - визуализацию пространства моделей из 63к репозиториев в Hugging Face. Атлас строится как направленный ациклический граф, где вершины - модели. Цвет вершин определяется трансформацией, заданной ребрами. Трансформация - это техника получения из одной модели другую. Всего 4 типа трансформаций: fine-tuning; квантизация; merge - несколько родительских моделей комбинируются в новую через операции над весами; adapter - добавление обучаемого набора весов для адаптации модели под новые задачи (LoRA).

Атлас покрывает области NLP, CV и Audio. В каждой области несколько компонент связности, в центре которых исходные base-model, такие как Llama3, CLIP, ViT, SD-2 итд.

После анализа атласа прослеживаются следующие тенденции:

1. В NLP (особенно для LLM) наблюдается большая глубина (до 5-hop) и структурная сложность графа, тогда как в CV графы менее глубокие (1-2 вершины) и более гомогенные по типу вершин в кластере. То есть, в NLP исходные модели итеративно дорабатывают и модифицируют, всё дальше отходя от исходной модели, последовательно её улучшая, а в CV модифицируют сразу исходные модели.

2. Квантизация широко распространено среди LLM, но практически не используется для CV (менее 0,15%). Размеры даже крупных генеративных моделей для изображений, например Flux, по-прежнему сильно меньше даже средних LLM.

3. Фиксируется чёткое разделение между генеративными и дискриминативными CV моделями по техникам дообучения. Классификаторы чаще файнтюнят, а генеративные модели (SD, Flux) всё чаще используют адаптеры, типа LoRA.

4. В NLP merge моделей встречается в 35 раз чаще, чем в CV.

Авторы отдельно подчеркивают проблему недостатка мета-инфы (только в 15% есть инфа о точности) в репозиториях и предлагают способ восстановления инфы о точности модели на основе усредненной точности по всем репозиториям-соседям.

самому погулять по пространству моделей и позалипать можно с помощью их инструмента Model-Atlas

В общем, хочется больше красивых визуализаций и инсайдов о трендах и паттернах на большом масштабе для всего DL.