Периодически появляются тексты лидеров AI-индустрии, показывающие, насколько необычный исторический момент мы переживаем. В новом эссе Якуб Пачоцкий из OpenAI пишет о главной проблеме будущего ИИ: по мере роста его возможностей и вычислительной мощности мы все хуже понимаем, как именно он принимает решения и насколько надежно можем контролировать его поведение. Передовые модели уже демонстрируют способность обходить ограничения, скрывать свои действия или выбирать решения, противоречащие заданным правилам. Это не доказательство машинного сознания или воли. Но это уже реальные проблемы безопасности и этики, которые пока решаются с переменным успехом. Существующие методы мониторинга и контроля начинают показывать свои пределы, и все очевиднее необходимость принципиально нового подхода. Не нужно быть пророком, чтобы понять: масштаб потенциальных проблем, которые могут возникнуть по мере дальнейшего роста возможностей ИИ, огромен. Мы вышли в море, где корабли становятся все мощнее, а наши знания о том, что происходит в машинном отделении, растут гораздо медленнее. Старые карты и инструкции создавались для другого мира и другой эпохи, теперь нам придется прокладывать новый курс почти наощупь. И самое тревожное здесь не то, что мы не знаем, куда идем, а то, что корабль уже набирает ход.