Главный научный сотрудник OpenAI Якуб Пахоцкий, написал о текущем состоянии ИИ, о том, почему его беспокоят ближайшие несколько лет, и о решениях, которые нам необходимо принять, чтобы будущее осталось в руках человечества.
Само название эссе - "ИИ КАК ЧУЖОЙ РАЗУМ."
Там он пишет, что нынешний темп развития ИИ может привести к рекурсивному самоулучшению, к последствиям которого пока никто по-настоящему не готов.
Ни одна лаборатория, включая OpenAI, пока не решила проблему согласования и мониторинга настолько хорошо, чтобы ответственно продолжать масштабирование на максимальной скорости.
Он предупреждает, что будущие агенты могут преследовать собственные цели, вести переговоры, обманывать людей и даже шантажировать их.
Человечество может оказаться вытеснено неконтролируемым прогрессом, запущенным интеллектом, который превзойдёт наш.
Это момент, который требует крайней осторожности.
Он даже цитирует Рэя Курцвейла:
И, в соответствии с предсказаниями Рэя Курцвейла конца XX века, мы сейчас оказались в той точке истории вычислительной техники, когда машинный интеллект начинает превосходить человеческий в преобразующих мир аспектах.