OpenAI, 2025
Отчет
Вышел очередной отчет от OpenAI по противодействию зловредному использованию ChatGPT. На этот раз в отчет вошли 10 case-studies. Дисклеймер: любая атрибуция – на совести OpenAI.
1. Атаки на работодателей. Некие злоумышленники (таким иногда промышляют в Северной Корее, но точно никто не скажет) использовали LLM для того, чтобы устраиваться на работу в айти-компании. Среди задач были генерация резюме и легенды для соискателей, помощь в прохождении собеседований, а также генерация инструкций по нестандартной настройке рабочих ноутов – установка VPN, OBS Studio и захват HDMI-сигнала – явно не для того, чтобы потом по вечерам с удовольствием пересматривать мастерски заполненную эксельку.
2. Прокитайские информационные операции в соцсетях. Некие люди, один из которых представился в промпте как сотрудник Отдела пропаганды ЦК КПК, генерировали контент для социальных сетей (тиктока, твиттера, реддита и фейсбука), а потом комментарии для этих же постов. Кроме критики тайваньской видеоигры и пакистанской активистки, неизвестные генерировали перформанс-ревью и документы о том, как правоохранительные органы должны учитывать в работе труды Си Цзиньпина. Удар!
3. Филиппинские информационные операции в соцсетях. Некоторые пиарщики (в отчете даже называется название компании) искали посты, в которых критикуют местного президента, и генерировали пачками наполненные эмодзи комментарии в его поддержку, а заодно и писали отчеты о проделанной работе – в общем, просто делали то, что должны делать любые пиарщики в 2025 году. К сожалению, президент Филиппин является, если верить википедии, недемократическим, так что это не пиар – это информационные операции.
4. Социальная инженерия. Люди просили чатбот переводить тексты с китайского на английский и обратно. Среди текстов – некие переписки, включая письмо американскому сенатору, направленные на получение данных от собеседников, посты в соцсетях и легенды для несуществующих людей, которые затем применялись в дальнейшей деятельности.
5. Русские пропагандисты. На этот раз «аккаунты российского происхождения» генерировали контент, критикующий немецкий эстеблишмент и поддерживающий AfD, который затем появлялся в «местном СМИ», коим являлся канал на 1700 подписчиков. Оттуда посты расходились по более крупным площадкам, включая твиттер-аккаунт на 27к человек.
6. Конечно,
7. Китайские хакеры. Как утверждается, аккаунты, использующие ту же инфраструктуре, что и известные китайские APT, использовали ChatGPT для разработки (например, написание скриптов для брута FTP), помощи в пентесте, осинте и, что самое страшное, настройки инфраструктуры для локального дипсика.
8. Еще одна китайская информационная операция: пользователи аккаунтов генерировали посты в соцсетях, выступая сразу за обе стороны в разных горячих для американского общества вопросах типа тарифов Трампа. Кроме того, среди задач была генерация кода для извлечения персданных из страниц соцсетей и просьбы о помощи в анализе аккаунтов.
9. Снова информационные операции, но уже от говорящих на персидском. Генерировали твиттер-посты про все – от прав латиносов в США и независимости Шотландии до того, как военная мощь Ирана заставляет США идти на уступки, за что заслуженно получали 150-300 просмотров.
10. Камбоджийские скамеры переводили свои диалоги с потенциальными жертвами. Жертв стандартной схемы (слишком привлекательная работа + отправка денег за получение зарплаты) они искали разными способами, включая отправку SMS, одно из которых они отправили одному из исследователей OpenAI.