ИИ как судья: печальный опыт Нидерландов
YouTube | Подкаст | Слушать

15 января 2021 года третий кабинет министров Нидерландов под руководством Марка Рютте целиком подал в отставку. Этот кабинет умудрился пережить ковидный кризис, масштабные протесты фермеров, но был уничтожен скандалом с пособиями на childcare: детские сады, продленки и тп.

В период с 2005 по 2019 порядка 30000 семей получили красные конверты от налоговой, в которых утверждалось, что они незаконно получали пособия, и теперь им надлежит вернуть всю сумму. О каком порядке сумм речь? Childcare в Нидерландах невероятно дорог, поэтому абсолютно все, кто вправе, получают субсидии со стороны государства, которое может компенсировать от 30 до 95 процентов стоимостей. В противном случае семья должна быть готова выложить сумму, сопоставимую с со стоимостью месячной аренды жилья в Амстердаме. Таким образом, для многих затребованный возврат субсидий за несколько лет составлял десятки и даже сотни тысяч евро.

Пикантность ситуации заключалась в том, что большая часть из адресатов не совершала никаких противоправных действий, а теперь им предъявили долги в размерах, зачастую превышающих несколько ежегодных доходов. Многие подавали аппеляции; многие из тех, кто не смог убедительно доказать свою невиновность, оказались банкротами; многие семьи были разрушены; были дети, которых насильно были отправлены в приемные семьи.

После ряда публичных расследований выяснилось, что во многом вина лежит на ML-алгоритмах, которые ввели после предыдущего громкого скандала, чтобы помочь налоговой обнаруживать фрод. Они давали довольно предвзятые результаты, ведя себя фактически как расисты, когда мигранты и национальные меньшинства падали под значительно большее подозрение. Несмотря на то, что система была самообучающейся, в конечном итоге она просто убедилась в своем расизме.

На дворе 2025 год. Люди все еще отстаивают в суде свои права.

Почему так получилось? Система обучалась на существующих делах, когда ей показывали, в каких случаях какие решения нужно принимать, а уж она дальше сама пыталась обнаружить связи. Можно представить себе алгоритм вроде градиентного спуска, который на основе обучающей выборки дальше сам вел дела. Как вы понимаете, это пример классической проблемы, когда корреляция не означает причинность.

Если обучать тот же градиентный спуск, он отлично отрабатывает корреляции, но чрезвычайно плохо справляется с другими вероятностными связями, и совсем никак — с причинностью, потому что люди принимают свои решения на основе более широкого кругозора, чем вот эти несколько числовых параметров.

Например, большинство мошенников могут быть суринамцами, но это не потому, что все суринамцы злыдни, а потому что им чаще такие пособия в принципе нужны. Низкий достаток не связан с тягой к мошенничеству, а с тем, что именно таким людям и нужны пособия. Если вспомнить теорию вероятностей, то это все в первую очередь про разницу между условными и безусловными вероятностями. Как парадокс Монти-Холла, когда некоторое дополнительное знание, на первый взгляд и не нужное, меняет все.

Прямо сейчас в Амстердаме тестируется новая система: Smart Check. Она должна автоматически определять, стоит ли давать человеку пособие. Подошли с учетом этого скандала, и вот уже который год не могут выкатить. Все переделывалось и перестраивалось кучу раз, но всякий раз внешнее тестирование показывало новые и новые баесы по сравнению с департаментом живых людей, которые выносили решение параллельно с ней: вместо 4% ошибки она выдает 33%, да еще так же предвзято. К слову, результаты тестирования — в Open Source.

Я бы не хотел, чтобы вы поняли этот рассказ, как свидетельство ничтожности ИИ: прямо сейчас в Нидерландах уже работает почти 1000 похожих систем. Я бы хотел, чтобы вы поняли, цену ошибки в таких системах, когда они начнут замещать людей в чувствительных отраслях. Это не отказ в кредите или более высокая ставка, это буквально судьбы. И бывает важно не то, что система поймает плохого, а то, что она не поймает хорошего.

ИИ уже разрушал жизни тысяч семей. Это уже было и, к сожалению, будет.