Xiaomi-TabLDM решает задачи классификации и регрессии на таблицах и её не нужно обучать под конкретную задачу. Модель берёт размеченные строки датасета как контекст и за один проход предсказывает значения для новых строк.
Классификатор и регрессор выпущены отдельными чекпоинтами. У классификатора 70 млн параметров, из них активны 61 млн, у регрессора – 71 и 62 млн. При предсказании модель объединяет результаты нескольких прогонов с перемешанными признаками и разной предобработкой, по умолчанию восьми.
Напрямую модель различает до 10 классов, а метки задач с большим числом классов перекодирует в несколько разрядов, каждый не больше чем на 10 значений.
Для повторных запросов к тем же данным есть KV-кэш, для крупных таблиц – выгрузка на CPU и диск.
Xiaomi рассчитывали на таблицы от сотен до десятков тысяч строк и от нескольких до сотни с лишним столбцов. Время инференса растёт квадратично и с числом строк, и с числом столбцов.
🟡Архитектура
Трёхступенчатый трансформер. Сначала столбцы группируются тройками по двум схемам циклических сдвигов, и каждый кодируется Set Transformer через 128 индуцирующих точек вместо внимания по всем строкам.
Затем четыре CLS-токена собирают эмбеддинги столбцов в вектор строки.
Последняя ступень – 24 блока обучения в контексте, где тестовые строки смотрят только на обучающие.
На второй и третьей ступенях вместо обычных остаточных связей работает слой с обучаемыми весами, который выбирает, какие ранние представления брать.
В последних 8 блоках полносвязный слой заменён смесью экспертов - из двух маршрутизируемых активен один, плюс общий эксперт.
🟡Тесты
На регрессионной части TabArena из 13 сетов модель набрала 1900 очков Elo и заняла второе место после TabFM с 2019 очками. Следом идут EXAONE-Tabular с 1885 и TabPFN-3 с 1800.
На полном TabArena из 51 датасета модель четвёртая с 1659 очками, почти вровень с AutoGluon 1.5 (1662) и TabPFN-3 (1650).
Этап
fit у неё на 82% быстрее, чем у TabFM, предсказание – на 68%.📌Лицензирование: Apache 2.0 License
🟡Веса
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #TLDM #Classification #TabLDM #Xiaomi