Полез читать о том, что это за израильские военные ИИшницы такие. Оказалось о них рассказывали по сливам пару лет назад. Тот же коллектив авторов, что нынче снял кино. В общем, описывают три штуки: Lavender вычисляет боевиков ХАМАС и прочих плохих ребят, анализируя большие массивы косвенных данных, система под названием Where's Daddy? (хех) определяет местоположение. Есть еще нечто под названием The Gospel: оно про анализ зданий, а не людей. Уничтожить цель проще всего, когда эта цель спит дома. Но там же находятся и посторонние люди, поэтому программы также обучены вычислять "назу", сопутствующий ущерб, анализируя, кто находится внутри, какие будут разрушения от примененного оружия и т.д.

С одной стороны можно сказать: сам факт того, что израильтяне создают такие системы, точечно вычисляющие вражеские боевиков и даже показывающие потенциальный сопутствующий ущерб, свидетельствует о том, что израильтяне стремятся воевать в белых перчатках. Не стремились бы: просто сносили бы квартал за кварталом артиллерией и массированными бомбардировками. Поэтому наверняка сами эти системы задумывали in good faith как средства, которые помогут точечно уничтожать боевиков, минимизируя жертвы среди нонкомбатантов. Но как обычно что-то пошло не так. И что же?

По всей видимости то, что у всякой автоматизации есть типичные последствия. Обычно, если автоматизация ведет к увеличению производства товара Х на единицу времени, результатом будет не снижение единиц времени потраченных на производство, а увеличение количества товара Х. Автоматизация (по крайней мере на первых порах) также обычно приводит к производству товара низкого качества, зато дешевого и массового. Неолитическая революция позволила производить пищу куда хуже той, что добывали охотники-собиратели, зато населила мир толпами аграрных задохликов. Книгопечатание наводнило мир дешевой макулатурой. Индустриализация наполнила мир ширпотребом, одновременно загнав толпы людей в вонючие цеха. Луддиты были обречены во все времена, но часто они знали о чем говорили, как в своей родной Англии, где шерстяные мануфактуры вытеснили ручную работу: ребята, посмотрите, вы же делаете говно... Революция ИИ кое-где облегчила академическую и прочую важную работу, но главный эффект: нам засрали всю сеть убогим нейрослопом.

Таким образом, автоматизация делает а) дешевое б) некачественное. К чему же тогда может привести автоматизация убийств? Правильно, убийств станет, во-первых, больше, а во-вторых они будут некачественные. Качество тут не в плане самого убийства, а в плане выбора цели. До ИИ вычислением боевиков занимались люди, на это тратились месяцы работы аналитиков. Поэтому точечные убийства применяли редко, стараясь тратить ресурсы на ценные цели. Теперь эта работа делается машиной по щелчку пальцев: целей вагон, бомби не хочу. До ИИ люди проверяли и перепроверяли информацию, взвешивали все за и против прежде чем нажать на гашетку. Теперь это все отдано на откуп ИИ, а он это делает... ну, нейрослоп видели, да? Даже если решение принимает в итоге живой человек, то он полагается на суждение машины. Со всеми вытекающими вроде переноса ответственности. Раньше за неверный выбор цели или гражданские жертвы, мог получить по башке конкретный аналитик. Теперь в наказание можно высечь код, как персидский царь море. Таким образом, внедрять ИИ тут можно было с самыми добрыми намерениями и чаяниями о снижении гражданских жертв, но результат один: увеличение количества ударов, количества ошибок и тех самых жертв.

Этого можно было ожидать. И, похоже, так и получилось. Катализатором стала травма 7 октября. Пишут, что до нее точечные удары старались применять только по senior operatives хамасовцев и тому подобным. Информация перепроверялась, применяли высокоточное оружие, количество "назы" старались держать на приемлемом в пару десятков уровне. С началом войны в Газе ИИшницу решили также науськать на junior operatives. Бесноватая машина тут же обозначила 37 тыс. человек на ликвидацию (это не значит, что решили убить 37 тыс., просто показывает размах, напомню, что оперирует система данными типа "кто кому звонил"). Тратить управляемые бомбы на джуниоров накладно, стали использовать неуправляемые, от чего количество гражданских жертв возросло еще больше. Лимиты "назы" при этом повысили.

В результате жизнь в Газе, видимо, стала похожа на чистый киберпанк: вы находитесь под постоянным надзором искусственного разума, можете пообщаться с плохим человеком по телефону или в сети, система отметит вас как джуниор-террориста, вечером ваши дети отправят родным сообщение "папа дома" в мессенджере и в ваш дом влетит неуправляемая бомба, похоронив заодно человек этак сто. Автоматизированный гуманизм, образца двадцать первого столетия.