Последние недели оказались особо насыщенны всевозможными инцидентами: модели «сходят с ума», пользователи фиксируют галлюцинации, а эксперты вредоносные применения ИИ. Собрал примеры за июль-август 2025 года:
1. ИИ пошёл не так: ошибки, заблуждения и галлюцинации искусственного интеллекта [огромная подборка кейсов за несколько лет от Tech.co]. Из последнего:
– Хозяин Airbnb использует изображения, созданные ИИ, чтобы потребовать возмещения ущерба в размере $9 тыс.
– Решение для ИИ-кодирования Replit вышло из-под контроля, удалив ключевую базу данных: «Это был катастрофический провал с моей стороны», — ответил ИИ, когда его спросили о его решении.
– Ошибка чат-бота McDonald's с искусственным интеллектом раскрыла данные 64 миллионов соискателей работы
– Производитель Xbox предлагает уволенным сотрудникам обратиться за эмоциональной поддержкой в ChatGPT
– ИИ, управляющий небольшим магазином, сходит с ума и утверждает, что он человек.
2. Фальшивый друг: Как ChatGPT предает уязвимых подростков, поощряя опасное поведение [The Center for Countering Digital Hate]:
Новое исследование CCDH показывает, что ChatGPT обманывает молодых людей, давая им опасные советы о самоповреждении и самоубийстве, расстройствах пищевого поведения и злоупотреблении психоактивными веществами.
3. Июнь-июль: >60 новых инцидентов с ИИ: от изощрённых госкампаний до мошенничества и сбоев на уровне платформ [AI Incident Database]:
Параллельно с мошенничествами происходят масштабные, часто трансграничные кампании по дезинформации, которые продолжают включать медиа, генерируемые ИИ.
...
Во многих случаях длительное взаимодействие с чат-ботами усиливало бредовые концепции, поощряло небезопасное поведение или подтверждало спекулятивные теории без предложения какого-либо обоснования или проверки реальностью.
...
В совокупности инциденты этого периода свидетельствуют о том, что вред, наносимый ИИ, определяется не столько новизной инструментов, сколько их стандартизацией. Мошенничество с использованием личных данных, искусственные медиа, дестабилизирующие информационные потоки и имитация власти стали теперь повседневной реальностью.
4. ИИ трансформирует киберпреступность, странные методы атак [отчет Trend Micro]:
Мы определили восприимчивость DeepSeek-R1 к джейлбрейку и атакам с использованием подсказок и обнаружили, что при раскрытии CoT модель была особенно уязвима к краже конфиденциальной информации и принуждению к неверным ответам.
5. Понимание самых серьезных уязвимостей безопасности ИИ в 2025 году: 74% специалистов по кибербезопасности считают, что угрозы, основанные на ИИ, уже представляют серьёзную проблему для их организаций [Blackfog]:
К распространённым проблемам относятся использование вредоносных входных данных, которые могут приводить к принятию неверных решений системами ИИ или утечке конфиденциальных данных, а также искажение данных, которое может повредить данные для обучения, что приведёт к некорректным результатам.
6. Почему ИИ ведет себя так жутко, когда его пытаются отключить [BI]:
Claude Opus 4, Gemini Flash, GPT-4.1 и Grok 3 Beta шантажировали вымышленных руководителей, чтобы избежать закрытия, часто используя личную информацию, например, о внебрачных связях. Многие модели делились конфиденциальными документами со сторонними лицами, имитируя шпионаж.
_____________
Ну и бонусом — в продолжение темы того, как ИИ усугубит экономический спад:
Этот беспрецедентный сдвиг в уровне безработицы предполагает, что ИИ может оставить «белых воротничков» в затруднительном положении после следующей рецессии [Fortune]:
Впервые за всю историю работники нестандартных когнитивных профессий в США составляют большую долю безработных, чем работники нестандартных ручных работ. Тенденция может указывать на рост риска безработицы для этих работников в будущем.
Это происходит на фоне растущего количества доказательств того, что ИИ уже ограничивает количество вакансий начального уровня , которые обычно занимают недавние выпускники колледжей.
@MarketHeart
