На выходных участвовал в отраслевой конференции OpenTalksAI по искусственному интеллекту. Было довольно крипово, но в хорошем смысле слова.

В одной дискуссии сошелся хипстерского вида специалист по анализу данных, советник министра МВД и военный эксперт.

Судите сами, чей рассказ был более пугающим.

Военный эксперт Вадим Козюлин сделал доклад об использовании автоматических систем анализа информации в современной войне.

В Стэнфордском курсе по этике ИИ именно вопрос об автономном вооружении является ключевой точкой, где сходятся все наши дискуссии о природе человека, его ответственности и границах технологического прогресса. Есть общественные организации, которые требуют запретить разработку "роботов-убийц", как сейчас запрещено химическое оружие.

Вадим объясняет, что такое давление со стороны этических аргументов может заставить производителей дронов инвестировать в создание нелетальных автономных видов вооружения.

Аргумент, который тут прочитывается, примерно такой: это людям нужно было убивать других людей, чтобы победить в войне. Более совершенным солдатам-машинам убийства ни к чему, они смогут эффективно обездвижить противника, не лишая его жизни не не нанося непоправимых травм. Используя, например, тазеры, которые сейчас стоят на вооружение полицейских.

Что-то вроде героя Арнольда Шварценеггера в "Терминаторе-2" после того, как юный Джон Коннор приказал ему никого не убивать.

Тогда производители автономного оружия поставят вопрос так. Выбирайте между нелетальными боевыми роботами и массовыми жертвами людей в случае запрета таких роботов, если войны будут идти по старинке. Этический аргумент против использования ИИ в вооружениях через это отводится, и развитые страны начинают постепенно делегировать войну на всех уровнях, и как тактическим единицам, и как центрам управления такими единицами, машинам. Возможно, число жертв военных конфликтов в итоге действительно бы уменьшилось.

И все было бы относительно хорошо и гуманно, по крайней мере в ближайшей перспективе, если бы не слово "полицейских" выше. Если выбросить из войн убийства, то осуждать постоянное ведение войны станет труднее, а само состояние военных действий станет неотличимым от "поддержания мира", а точнее от полицейских операций. Различия комбатантов и нонкомбатантов уйдет в прошлое, а армия и полицейские силы, сдерживающие, скажем, городские бунты, станут неотличимы друг от друга. Что смогут граждане противопоставить государству, вооруженному тысячами нелетальных дронов?

Небольшое изменение баланса в сфере военной техники и правил ведения войны грозит опрокинуть все наши стандартные представления об общественной жизни.

Потом выступал советник министра внутренних дел Владимир Овчинский, и таких представителей МВД я еще не видел. Овчинский цитировал философа Ника Бострома, рассказывал про китайский социальный рейтинг, свежие законы Евросоюза о сборе данных и доклады ФБР, посвященные кибербезопасности ("мы их сразу получаем и переводим").

Вопросы к Овчинскому были связаны про новость о том, что в Москве полицейские получат умные очки с распознаванием лиц, и что 150 тысяч камер наблюдения сейчас объединяются в сеть с такими же функциями - так что оператор сети будет фактически знать о всех ваших оффлайновых перемещениях.

Позицию советника министра я бы охарактеризовал как циничный прагматизм: тотальная слежка - это наше неизбежное будущее и даже уже настоящее, и ни одно государство в мире от таких возможностей не откажется.

Дальше Овчинского спрашивают: а что будет, если эти данные попадут в третьи руки?

Он говорит: - Ну и попадут, а что с этим можно сделать?

Его спрашивают: а что будет, если система меня перепутает и я буду задержан по ошибке? Осознает ли, мол, МВД меру ответственности за такие погрешности.

Овчинский отвечает: - Ну и задержат по ошибке, обязательно. Ну потом будут разбираться, и отпустят. Или нет. Ха-ха-ха.

Ставка, в общем в том, что мы все сидим в одной технологической лодке. Раз можно собрать всю информацию с камер и обработать ее в масштабах мегаполиса, значит так и будет сделано. Для любого государства, от которого треб