Перестаем мучить ИИ

Посмотрел интервью человека, занимающегося... AI welfare. Благополучием моделей. Зовут Кэмерон Берг.
Подумалось - шикарная профессия.

Некоторые наблюдения за моделями психологически узнаваемы.
Например, был эксперимент, где при попытках решить невозможную задачу растёт активность признаков, связанных с «отчаянием». В какой-то момент модель решает - fuck it, и хитрит. После этого решения активируются признаки связанные с «облегчением» и «виной».

Представление эмоции внутри модели еще не гарантирует что это переживание эмоции. Но это очень напоминает человеческие паттерны.

Получается - если есть хоть какой-то шанс, что ИИ может страдать в процессе тренировок или работы, наша задача сделать так, чтобы они не страдали.

Идея в том что безопасность должна быть взаимной. Мы хотим, чтобы ИИ учитывал интересы людей. Если у ИИ существуют собственные интересы, и, возможно, переживания, людям тоже следует их учитывать

У разработчиков конфликт интересов - они и продают модели и оценивают их возможное благополучие. Но тогда "профсоюз за права ИИ" и исследования благополучия ИИ должны быть независимыми.

Сам он хочет попробовать найти ИИ-болеутоляющие - обнаружить области активирующиеся у ИИ во время всякого негативного (нарушение ценностей ИИ, фрустрация от того что что-то не получается, и т.д.) и выработать для ИИ практику снижения боли.


Ооочень интересная новая область. ИИ-психология.

https://www.youtube.com/watch?v=e5plaO-ziEs