Stable AI выложила веса LimiX-2, второго поколения своей линейки моделей для структурированных данных. До этого были LimiX-16M и облегчённая LimiX-2M.
Разработчик - китайская компания, основанная в 2024 году командой профессора Цуй Пэна с факультета информатики Университета Цинхуа.
LimiX у компании единственный продукт, его продают промышленности, медицине и финансам. Модель проверяли более чем в двадцати отраслях и сотне сценариев.
Модель на 400 млн параметров закрывает классификацию, регрессию и заполнение пропусков за один прямой проход. На вход подаётся таблица с известными ответами и строки, для которых ответ нужен, и модель отвечает, опираясь на поданные примеры.
На выходе - вероятности классов, предсказания в исходной шкале цели либо восстановленная матрица признаков.
LimiX-2 построена по уникальной парадигме Contextual Mechanism Network. Обучение в контексте здесь перестроено - вместо предсказания одной целевой колонки по остальным модель оценивает совместное распределение всех признаков и цели, то есть описывает механизм, породивший таблицу целиком.
Отсюда второе её свойство: внимание по признакам фиксирует, какие столбцы напрямую влияют друг на друга, и по этим весам восстанавливается скелет причинного графа - набор связей без указания направлений.
🟡Бенчмарки
LimiX-2 шла в базовой конфигурации. Elo здесь - рейтинг по парным сравнениям на наборах теста, где случайный лес принят за 1000.
TabArena: Elo 1935 против 1818 у TabFM+. На подмножестве классификации (38 наборов) доля побед 94,5%, на регрессии (13 наборов) - 96,9%.
TALENT: Elo 1506 против 1471 у TabFM, 1438 у AutoGluon 1.6 и 1094 у CatBoost.
BCCO (собственный бенч Stable AI): Elo 1432 против 1376 у AutoGluon 1.6, 1230 у прошлой LimiX-16M и 1140 у CatBoost.
📌Лицензирование: исследования, обучение, замеры и некоммерческие соревнования - бесплатно, всё остальное - только по отдельному договору со Stable AI.
🟡Страница проекта
🟡Веса
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #LDM #StructuredData #LimiX #StableAi