Для начала хочу поделиться диссертацией некоего Giacomo Petrillo 🐘. Оглавление на первой картинке ниже. Текст написан очень круто и с современных MLных позиций. Один из основных вкладов диссера — библиотека bartz, в которой BART реализован на JAX, что позволяет эффективные вычисления на GPU:
For example, on a Nvidia T4 GPU (freely available on Google Colab), it can process n = 100 000 observations, p = 1000 predictors, with 10 000 trees, for 1000 MCMC iterations, in 5 minutes.
Бенчмарки 📊
Приведу только один кейс: контест от организаторов American Causal Inference Conference 2022 года. В контесте было куча датасетов на причинно-следственный вывод, участники могли использовать любые модели. Модели сравнивались по нескольким метрикам, из которых основными были RMSE и фактический уровень доверия 90% доверительных интервалов.
Результаты можно глянуть на второй картинке — ее я взял из диссера Джакомо, поэтому там есть и его личная модель. Если кратко, то методы на основе BART отлично показали себя и в плане качества предсказания, и в плане качества доверительных интервалов.
Подробности можно найти в статье от организаторов.
Ноутбуки 👨💻
На мой взгляд, проще всего начать с примеров в документации PyMC-BART. PyMC это крайне популярный фреймворк для байесовского анализа данных, который позволит использовать BART вместе с тонной дополнительных примочек.
Дополнительные материалы 👍
☝️ Оригинальная статья про BART
✌️ Статья от разработчиков PyMC-BART. Их реализация отличается от реализации из оригинальной статьи
🖖 Список различных реализаций BART
🤌 Сборник Handbook of Matching and Weighting Adjustments for Causal Inference, в котором есть куча всякого стаффа про причинно-следственный вывод. В частности, в 20 главе обсуждается ML в CI и BART