На прошлой неделе произошло нечто неожиданное: AI Alignment — тема, которую 20 лет считали уделом параноиков и маргиналов, вдруг стала мейнстримом. Дискуссии о рисках продвинутого ИИ прорвались из академических кулуаров в крупнейшие СМИ. Виновник — открытое письмо Future of Life Institute, которое потребовало остановить гонку за супер-ИИ, прежде чем она уничтожит нас всех.

Меня эта тема зацепила. Я сел разбираться: что такое AI Alignment, какие в нём реальные проблемы, и насколько правдоподобны прогнозы об угрозе существованию человечества?

Если вы тоже хотите въехать в эту гигантскую кроличью нору — добро пожаловать.