Сегодня с вами рубрика «Что меня действительно волнует»

Одну из своих рассылок я посвятил неожиданным эффектам искуственного интеллекта в образовании, социологии и мышлении. Всё это время я продолжаю отслеживать новостной фон по теме и на днях наткнулся на тревожную весть, которой хочу поделиться с вами отдельно.

США и Россия привлекли примерно по десять юристов к заключительному этапу переговоров ООН об автономном оружии. За следующие примерно 15 часов они добились исключения ряда ограничений на применение искусственного интеллекта в вооружениях.

Из проекта документа убрали требование, согласно которому работающие на основе ИИ системы должны действовать «предсказуемо» и «надежно», также исключили положение об учете этических соображений при применении такого оружия, ещё из документа исчезло требование о проверке человеком военных целей, которые определил ИИ, перед нанесением удара.

Это показывает не только, какими будут войны будущего, но и как выстраиваются войны настоящего и как сильно человек делегирует ИИ всё новые области.

• Отказ от ответственности за выбор целей и ущерб. Здесь формально это отдаётся на откуп ИИ, который может самостоятельно определять, по кому и чему может наноситься удар. Соответственно, весь сопутствующий ущерб лежит на ИИ, это же не человек выбирал цель.

• Вымывание субъективных, человеческих категорий. «Предсказуемость» и «надёжность» это очень абстрактные конструкции, качественные, а не количественные характеристики. Их сложно измерить, а ещё сложнее придти к единому пониманию, что это вообще такое. Поэтому решили просто об этом не договариваться.

• Отсутствие этики. Здесь идёт отказ от традиционных «правил войны» и мы это уже видим по войнам современности — война не называется войной, соответственно, даже формально можно не соблюдать базовые правила ведения боевых действий.

Даже Германия в начале Второй Мировой формально объявляла своим противникам войны, понятное дело, по надуманным предлогам, но сама процедура соблюдалась: посол или временный поверенный просил об аудиенции сторону, на которую собирались нападать, и зачитывал официальное сообщение с объяснениями причин такого шага.

В случае с ИИ вообще закрепляется отказ от этического фундамента. А с учётом того, что ИИ может и цели выбирать, получается, что какое-то шибко умное автономное оружие может нанести удар, потому что просто алгоритмы посчитали это целесообразным, а человек как бы ответственности за это не несёт.

Не нравится мне всё это, ох как не нравится. Сила ИИ велика, но она же не из космоса прилетела, её сознательно взращивает и обучает именно человек. Здесь же появляется рубеж: обучаем её мы, а за её действия не отвечаем. А ведь ущерб-то вполне реален

🔥 — интересно, продолжай