TabR

Код исследователей НУЛ Яндекса, в котором описывается новый алгоритм для улучшения качества глубоких нейронных сетей в задачах обучения с учителем на табличных данных. Основная идея метода - использование моделей с расширенным поиском (retrieval-augmented models). Для целевого объекта такие модели извлекают другие объекты (например, ближайших соседей) из доступных обучающих данных и используют их признаки и метки для лучшего прогнозирования. Авторы исследуют и предлагают улучшенный способ поиска похожего объекта, который позволяет повысить качество полносвязанных нейронных сетей на задачах регрессии и классификации. Исследователи экспериментально показыват, что метод превосходит по качеству LightGBM, XGBoost, CatBoost и другие популярные алгоритмы в ряде классических задач и бенчмарков. Работа может быть полезна ML-инженерам и исследователям, которые работают с табличными данными.

статья | код