Этика рекомендательных систем от философа-computer scientist’а Erich Prem.

Первая мини-история была следующая: в Америке есть популярный супермаркет Target, который раньше рассылал людям по домам спец предложения, скидки и все такое. В target’е решили, что хорошая идея — делать спец предложения для беременных женщин. Соответственно, в дом, в котором жила со своими родителями 16-летняя девочка, начали постоянно приходить такие спецпредложения (для этой девочки). В один момент отец совсем возмутился, ворвался в target, выразил свое недовольство. А потом оказалось, что она реально была беременна, просто он не знал =)

Дальше был пример, который я тоже люблю приводить — про Тиндер. Что по сути в дейтингах самая успешная рекомендация — это та, после которой пользователю дейтинг больше не нужен :) А это платформе совсем невыгодно, ей нужно растить пользовательскую базу, иначе деньги не заработать. Соответственно, платформе выгодней рекомендовать вам какие-то частичные “матчи”, которые полностью проблему большинства юзеров не решают.

Также обсуждались чат боты. Во-первых, известный случай, когда подросток совершил суицид, чтобы “воссоединиться” с ботом (который, по-моему ролеплеил Денерис Таргариен из игры престолов). Во-вторых, обсуждали должен ли чатбот выдавать инструкцию по созданию бомбы или нет.

Также был следующий фундаментальный кусочек: Erich кратко рассказал про философию Канта (про категорический императив), что в его понимании высшая ценность — это человеческая автономность (читай личная свобода). И затем противопоставил его утилитаризму (которым часто по его мнению руководствуются инженеры). Рассказал такой пример — если пять человек попадут в аварию, и одному из них нужна будет новая почка, другому печень, третьему сердце и так далее, при этом один из них останется абсолютно здоров (отделается сломанной рукой), то с точки зрения утилитаризма нужно органы этого здорового человека пожертвовать остальным. Но мы так не делаем, потому что тогда люди перестанут приходить в больницы со сломанной рукой :)

В его понимании многие вопросы вида “что можно, а что нельзя” сводятся к этому противостоянию философий — считаем ли мы, что личная свобода это самое важное, либо же мы пытаемся максимизировать какое-то общее благо (то есть смотрим на вещи утилитарно).

Отдельные мысли: моральные ценности очень сильно зависят от общества, времени, контекста; что рассматривать человека как какую-то цифровую сущность — это очень сильное упрощение, которое не учитывает существенную часть человеческих чувств и эмоций; что использовать engagement как прокси к чему-то хорошему и полезному для человека опасно. Что противоположностью автономии является манипуляция, контроль.

Упомянул интересный термин — Dark Patterns. Это когда приложение дизайнится таким образом, чтобы побудить пользователя делать не самые полезные для него вещи (например, покупать что-то не целесообразно дорогое).

Последнее — была интересная история про Rene Carmille, которого Erich считает образцовым computer scientist’ом, применявшим свои навыки во благо. Что равняться надо на таких людей, а не на Цукербергов / Илонов Масков. Вроде бы Рене был статистом и работал над машинами, помогавшими идентифицировать людей. Когда немцы захватили Францию, он так хакнул эти машины, чтобы нельзя было выявлять евреев. Таким образом он спас тысячи людей. Но сам, к сожалению, плохой участи не избежал :(

Еще кратко упомяну лекцию про accessibility и inclusion. Вообще Вена — очень доступный город. Например, здесь свободно передвигаются люди на колясках. И лекция была про то же самое — что мы можем сделать с рекомендательными системами, чтобы обеспечить доступ к ним для всех. В Европе не так давно (в июне) приняли акт, по которому все рекомендательные системы обязаны это делать.

Я может быть еще напишу отдельный пост про впечатления от Вены, но в целом — уже впереди сам RecSys! :)