TabM

Репозиторий, содержащий имплементацию TabM — модели, эффективно имитирующей ансамбль многослойных перцептронов для решения задач на табличных данных. Для этого вводятся специальные адаптеры - матрицы, чьи элементы равны ± 1. Эти адаптеры эффективно создают уникальные версии матрицы весов, за счет чего и имитируется ансамбль. В итоговой архитектуре такой адаптер применяется только ко всем копиям одного входа, которые затем подаются в линейные слои. В серии экспериментов авторы показывают существенное превосходство метода для задач на табличных данных по сравнению с другими классическими и нейросетевыми подходами, в том числе использующие механизм внимания. Модель также демонстрирует лучшую скорость обучения и инференса, уступая лишь стандартному MLP и XGBoost. Работа может быть полезна аналитикам, DS-специалистам и DL-исследователям.

статья | код