Привет, Скайнет!

Ведущие разработчики искусственного интеллекта объединились, чтобы предупредить человечество о том, что ИИ учится скрывать свои истинные цели, и скоро мы не сможем это отслеживать.

Более сорока ученых из конкурирующих контор подписались под одной статьёй. Прикреплю её пдфкой к посту (осторожно, эльфийский). Если коротко, помните, в нейронках есть такая опция "показывать рассуждения"? Когда она включена, то мы можем прочитать, каким путём нейра пришла к тому ответу, который она в итоге выдаст. Иногда, когда бот делал что-то не совсем одобряемое, его можно было поймать на этапе этих рассуждений. Но последние исследования показали, что когда ИИ использует в качестве подсказок неоднозначную информацию, оно признается в ее использовании в среднем лишь в одном из четырех случаев. В трёх остальных - врёт и выкручивается, не признаваясь, как мыслил реально. А учитывая, что нейронки постепенно отходят от использования человеческих языков в рассуждениях и вырабатывают свои, основанные на сокращениях и непрерывных математических пространствах (чтобы это ни значило), тоооо...

...то это значит, что совсем скоро мы не сможем узнать, как рассуждал ИИ, выдав нам этот ответ, какие реальные цели он преследовал и чем руководствовался. Хороших новостей нет. Ученые разрабатывают систему мониторинга мыслительной деятельности нейронок, но некоторые исследования показывают, что она уже работает не так эффективно. И как говорят авторы исследования, окно возможностей наблюдения за мыслями ИИ закрывается быстрее, чем они рассчитывали.

#Хайдарова
#технологии
#айти
#новости