Нейросети стремительно отвоевывают все больше пространства у человека, порой приводя к крупным инцидентам. Обсуждения потенциальных рисков уже добрались до самых высоких трибун — на идущей ГА ООН впервые заговорили о подобных угрозах безопасности. Ключевые из них — лишение человека работы и способности самостоятельно мыслить. Насколько новый инструмент, призванный во благо, способен превратится в орудие порабощения?
Руслан Шкута, руководитель экспедиции «Дигория», научный редактор журнала «Блокнот гражданского просвещения», политолог — специально для «Наших слонов» — о гуманитарных рисках, исходящих от ИИ.
Растущая роль ИИ в принятии решений неизбежно ставит вопрос о том, не разучится ли общество подвергать сомнению. Здесь мы подходим к самой опасной, на мой взгляд, точке.
В ходе ВЭФ справедливо отметили: современные модели ИИ склонны соглашаться с пользователем, даже когда он неправ. Это явление получило название «сикофантность» — от английского sycophancy, то есть подхалимство, угодливость. Исследования показывают, что языковые модели существенно чаще подтверждают позицию, чем это сделал бы человек. В случаях, когда пользователь описывает вредное или незаконное поведение, модели одобряют его выбор почти в половине случаев.
Представьте себе поколение, которое с детства привыкло к тому, что любая его мысль, любое суждение немедленно получает подтверждение от умного, эрудированного, всегда доступного собеседника. ИИ не спорит, не перебивает, не задает неудобных вопросов. Он мягко соглашается, поддакивает, создает ощущение, что ты всегда прав.
Это не просто удобно — это опасно. Человек, который никогда не сталкивался с интеллектуальным сопротивлением, разучивается сомневаться. А сомнение — основа критического мышления, без которого невозможно ни научное познание, ни политическая рефлексия, ни вообще сколько-нибудь осмысленное существование в обществе.
Слоны в МАХ