Расскажу про ещё один препринт, хотя опубликовал его я ещё в мае. Там история тоже небыстрая, как в принципе всегда с журналами, в отличие от конференций.

Мотивацию я уже озвучивал в посте про отрицательную дивергенцию. Любая выборка — это просто зашумленный кусок реальности, а не сама реальность. Если мерить интеллект только по фитингу на данные, мы тупо поощряем зубрёжку. Но как формально понять, что мы уловили структуру мира, а не просто пересказали статистику?

В статье предлагается метрика CWMA. Она считает разницу KL-дивергенций между миром, моделью и наивным бейзлайном по тем же данным, с разложением по уровням Перла. Если модель точнее отвечает на интервенционные и контрфактические запросы, чем позволяет сама выборка, метрика становится положительной.

Подход сугубо внешний. Внутрь черного ящика мы не лезем. Таблица с готовыми ответами и честная структурная модель получат одинаковый балл, если выдают одинаковый результат. Ещё надо учитывать, что без априорных предположений causality из данных не выучить вообще.

Препринт тут. Инструкции по сборке AGI в комплект не входят, но попробовать формально отделить каузальный вывод от банальной аппроксимации теперь можно.