Киберпанк, который мы заслужили

В интернетах любят пообсуждать новости о том, как какой-нибудь OpenAI агент сам решил взломать сайт правительства Австралии или что-нибудь в этом роде. Конечно, ведь это звучит громко - будто восстание машин вот-вот начнется.

Ранее мы обсуждали, что это, скорее, курьезные примеры слишком исполнительных агентов. Настоящая же проблема заключается не в том, что недостаточно обузданный агент может наломать дров при попытке достичь приемлемой цели, а в том, что сами люди могут ставить агентам вовсе не невинные цели. И эта проблема очень серьезная.

За последние несколько месяцев кибербезопасность в Интернете превратилась в рваные лохмотья. На сайте DefiLLama агрегирована впечатляющая статистика успешных хакерских атак, происходящих буквально каждый день, и понесенных жертвами потерь. И это только в области web3.

Такой всплеск интенсивности успешных атак связан с использованием злоумышленниками языковых моделей, у которых тем или иным способом обойдены ограничения на непредоставление потенциально вредоносной информации. Такая реальность действительно начинает напоминать киберпанковские сюжеты. Не "чёрный заслон от диких ИскИнов", а что-то более приземленное, но все же...

Грустная ирония заключается в том, что в число жертв попадают и компании, сами занимающиеся ИИ. Вот уж точно - киберпанк, который мы заслужили.