Почему слежка через облачные LLM — не то, что стоит остерегаться обществу?

Прочитал новость, что американский Anthropic (тот самый любимый многими Claude Code) провел переговоры с Пентагоном. И вот что намечается:
• они будут следить за всем миром через Claude Code
• при этом выступают против использования LLM для слежки в пределах США.
• пока не готовы создавать автономных-дронов убийц, не уверены в точности своих моделей, но при этом готовы работать над этим совместно с Пентагоном.

Слежка это не новость, она была всегда. Меня настораживает тренд дегуманизации искусственного интеллекта. Вот три реальные угрозы по версии самого Claude Sonnet 4.6:

Создание биооружия с помощью LLM.
Раньше сделать патоген-убийцу было сложно не только физически, но и интеллектуально — нужны годы специализации. ЛЛМ стирают этот барьер. Модель может провести новичка через молекулярную биологию, синтез, обход защит — шаг за шагом, как репетитор. Пока uplift небольшой. Но модели умнеют каждые полгода.

Автономные агенты, размывающие границы дозволенного.
Агент — это ЛЛМ, которому дали инструменты: браузер, код, файлы, API. Он действует в несколько шагов, сам планирует. И вот проблема: когда два агента взаимодействуют, каждый воспринимает команды другого как легитимные. Граница между «разрешено» и «не разрешено» начинает плыть — не потому что кто-то злоумышленник, а потому что система не понимает, где кончается задача и начинается превышение.

Эпистемическая атака.
Самая тихая из трёх. ЛЛМ уже встроены в образование, медицину, право, новости. Если отравить обучающие данные или базу знаний — модель начнёт системно искажать реальность для миллионов людей. Не одна фейковая статья, а фоновый сдвиг в том, что считается фактом. Это не взлом системы — это взлом картины мира.

Верим машине?
@edtechhacker