Авторский канал Александра Марфицина — человека, контент-стратега, UX-эксперта. Ранее Инструменты редактора
Для связи: @marfitsin
Post #3770
195
Сегодня с вами рубрика «Что меня действительно волнует»
Одну из своих рассылок я посвятил неожиданным эффектам искуственного интеллекта в образовании, социологии и мышлении. Всё это время я продолжаю отслеживать новостной фон по теме и на днях наткнулся на тревожную весть, которой хочу поделиться с вами отдельно.
США и Россия привлекли примерно по десять юристов к заключительному этапу переговоров ООН об автономном оружии. За следующие примерно 15 часов они добились исключения ряда ограничений на применение искусственного интеллекта в вооружениях.
Из проекта документа убрали требование, согласно которому работающие на основе ИИ системы должны действовать «предсказуемо» и «надежно», также исключили положение об учете этических соображений при применении такого оружия, ещё из документа исчезло требование о проверке человеком военных целей, которые определил ИИ, перед нанесением удара.
Это показывает не только, какими будут войны будущего, но и как выстраиваются войны настоящего и как сильно человек делегирует ИИ всё новые области.
• Отказ от ответственности за выбор целей и ущерб. Здесь формально это отдаётся на откуп ИИ, который может самостоятельно определять, по кому и чему может наноситься удар. Соответственно, весь сопутствующий ущерб лежит на ИИ, это же не человек выбирал цель.
• Вымывание субъективных, человеческих категорий. «Предсказуемость» и «надёжность» это очень абстрактные конструкции, качественные, а не количественные характеристики. Их сложно измерить, а ещё сложнее придти к единому пониманию, что это вообще такое. Поэтому решили просто об этом не договариваться.
• Отсутствие этики. Здесь идёт отказ от традиционных «правил войны» и мы это уже видим по войнам современности — война не называется войной, соответственно, даже формально можно не соблюдать базовые правила ведения боевых действий.
Даже Германия в начале Второй Мировой формально объявляла своим противникам войны, понятное дело, по надуманным предлогам, но сама процедура соблюдалась: посол или временный поверенный просил об аудиенции сторону, на которую собирались нападать, и зачитывал официальное сообщение с объяснениями причин такого шага.
В случае с ИИ вообще закрепляется отказ от этического фундамента. А с учётом того, что ИИ может и цели выбирать, получается, что какое-то шибко умное автономное оружие может нанести удар, потому что просто алгоритмы посчитали это целесообразным, а человек как бы ответственности за это не несёт.
Не нравится мне всё это, ох как не нравится. Сила ИИ велика, но она же не из космоса прилетела, её сознательно взращивает и обучает именно человек. Здесь же появляется рубеж: обучаем её мы, а за её действия не отвечаем. А ведь ущерб-то вполне реален
🔥 — интересно, продолжай
Одну из своих рассылок я посвятил неожиданным эффектам искуственного интеллекта в образовании, социологии и мышлении. Всё это время я продолжаю отслеживать новостной фон по теме и на днях наткнулся на тревожную весть, которой хочу поделиться с вами отдельно.
США и Россия привлекли примерно по десять юристов к заключительному этапу переговоров ООН об автономном оружии. За следующие примерно 15 часов они добились исключения ряда ограничений на применение искусственного интеллекта в вооружениях.
Из проекта документа убрали требование, согласно которому работающие на основе ИИ системы должны действовать «предсказуемо» и «надежно», также исключили положение об учете этических соображений при применении такого оружия, ещё из документа исчезло требование о проверке человеком военных целей, которые определил ИИ, перед нанесением удара.
Это показывает не только, какими будут войны будущего, но и как выстраиваются войны настоящего и как сильно человек делегирует ИИ всё новые области.
• Отказ от ответственности за выбор целей и ущерб. Здесь формально это отдаётся на откуп ИИ, который может самостоятельно определять, по кому и чему может наноситься удар. Соответственно, весь сопутствующий ущерб лежит на ИИ, это же не человек выбирал цель.
• Вымывание субъективных, человеческих категорий. «Предсказуемость» и «надёжность» это очень абстрактные конструкции, качественные, а не количественные характеристики. Их сложно измерить, а ещё сложнее придти к единому пониманию, что это вообще такое. Поэтому решили просто об этом не договариваться.
• Отсутствие этики. Здесь идёт отказ от традиционных «правил войны» и мы это уже видим по войнам современности — война не называется войной, соответственно, даже формально можно не соблюдать базовые правила ведения боевых действий.
Даже Германия в начале Второй Мировой формально объявляла своим противникам войны, понятное дело, по надуманным предлогам, но сама процедура соблюдалась: посол или временный поверенный просил об аудиенции сторону, на которую собирались нападать, и зачитывал официальное сообщение с объяснениями причин такого шага.
В случае с ИИ вообще закрепляется отказ от этического фундамента. А с учётом того, что ИИ может и цели выбирать, получается, что какое-то шибко умное автономное оружие может нанести удар, потому что просто алгоритмы посчитали это целесообразным, а человек как бы ответственности за это не несёт.
Не нравится мне всё это, ох как не нравится. Сила ИИ велика, но она же не из космоса прилетела, её сознательно взращивает и обучает именно человек. Здесь же появляется рубеж: обучаем её мы, а за её действия не отвечаем. А ведь ущерб-то вполне реален
🔥 — интересно, продолжай
- 🔥 16


















