Манипуляционно-наративный контроль ИИ

Если мы не можем проверить, на чём обучалась модель, мы не должны доверять её результатам там, где важна точность.

Пентагон совершенствуется в обнаружении дипфейков. Программа семантической криминалистики DARPA, контракт на создание прототипа системы выявления дипфейков с компанией Hive, заключенный подразделением оборонных инноваций, и растущий набор инструментов обнаружения указывают на одно и то же. Министерство обороны решило, что борьба с дезинформацией — это проблема обнаружения дипфейков.

Но есть нюанс. Инструменты обнаружения, финансируемые Министерством обороны, были созданы для мира, где противники создают поддельные изображения, видео и аудио, а затем пытаются выдать их за настоящие. Такой мир существует. Противники отравляют модели ИИ, на которые полагаются аналитики Министерства обороны, разведывательные платформы и политики, чтобы отличать подлинное от поддельного.

В этом и заключается разрыв. Пентагон строит более совершенную мышеловку, в то время как мыши переписывают чертежи дома.

Инструменты обнаружения выявляют синтетический контент, то есть изображения, видео или аудио, созданные искусственным интеллектом, уже после их создания. Они ничего не делают с моделями, которые были незаметно обучены отдавать предпочтение определенным нарративам, преуменьшать определенные конфликты или опускать факты, которые государственный субъект предпочел бы, чтобы мир забыл.

Когда военный аналитик просит ИИ-помощника обобщить события в Южно-Китайском море или проанализировать спутниковые снимки с Ближнего Востока, ответ может быть уже сформирован операцией влияния противника. Ни один детектор дипфейков этого не обнаруживает.

https://t.me/budni_manipulyatora/5141 - цинк

Именно поэтому со временем мы придем к ситуации, когда каждая страна в контролируемом сегементе сети будет заниматься протекционизмом в отношении своих нейросетевых моделей и пессимизировать/блокировать работу иностранных нейросетевых моделей (в первую очередь из враждебных стран), так как это готовые инструменты манипуляции, влияния и контроля нарративов. Точно также как на определенном этапе эту роль "верификации фактов" играла Википедия. "Это же в Википедии написано" говорили разные деятели по поводу и без. Теперь же будут встречаться альтернативно-одаренные граждане, которые будут априорно воспринимать то, что выдает та или иная нейросетевая модель без критической оценки того, что она выдает. Отличная глина для пропагандистских компаний влияния и социальной инженерии современных когнитивных войн.