Дуэль со Steven Pinker

Прекрасный учёный и единственный в мире человек, уличённый в оптимизме, Стивен Пинкер написал открытое письмо Скотту Александеру. Обсуждают, конечно, уничтожение человечества искусственным интеллектом.
Скотт Александер – это автор Astral Codex Ten, один из самых умных блогеров про рационализм и всё подряд. Пинкер – профессор Гарварда, написал «Лучшее в нас» и «Просвещение сегодня».

Александер вызвал его на публичные дебаты. Пинкер ответил открытым письмом в Quillette, что дебатировать откажется, а своё несогласие объяснит письменно. И объяснил, на тридцати с чем-то страницах.

Суть его возражений: интеллект сам по себе не предполагает желания властвовать или выживать любой ценой. У людей эти свойства соседствуют благодаря эволюции. Почему мы решили, что у машины они обязательно идут комплектом?

При этом Пинкер признаёт, что недооценил возможности языковых моделей. И слишком рассчитывал на осторожность разработчиков.

Но самое интересное в письме – вопрос к самим компаниям: почему люди, предупреждающие, что ИИ может всех убить, одновременно строят его с такой скоростью?

Пинкер предполагает, что здесь есть связь. Если ты веришь, что спасти человечество можно, только первым создав сверхинтеллект, спешка становится моральным долгом. А ущерб по дороге легко списать на издержки спасения.

Риски он признаёт: биотерроризм, кибератаки, бесконтрольные агенты. Поддерживает независимый надзор, расследование аварий, ответственность за вред и возможность отключения.
Но и для оптимизма нам повод оставляет. Святой человек, спасибо ему.

Источник