📖 Эта статья рассматривает вопрос создания контрфактуальных данных с использованием языковых моделей!

💡 Контрфактуальные данные позволяют понять, как бы выглядело предложение, если бы оно было создано при определенных изменениях в модели. В статье авторы подчеркивают, что контрфактуальное рассуждение отличается от стандартных интервенционных подходов, таких как манипуляция представлениями моделей, поскольку основано на других концепциях причинности.

🌟 Авторы предлагают новый подход для генерации контрфактов, который основывается на формулировке языковых моделей как обобщенных структурных уравнений и использовании трюка Gumbel-max. Этот метод позволяет моделировать совместное распределение исходных строк и их контрфактуальных версий, что обеспечивает более точное понимание воздействия интервенций. Эксперименты показывают, что их алгоритм генерирует значимые контрфакты и демонстрирует, что традиционные методы интервенции имеют нежелательные побочные эффекты.

🔗 Ссылка: *клик*

@bigdatai