Как новоиспеченый “сертифицированный ученый” 🧐 в области ИИ регулярно поглядываю в научные работы и эксперименты, проводимые научными группами по всему миру. Попалась одна интересная.

В основе работы любой ИИ-системы лежит теория вероятностей, а результат работы - не более, чем предсказание. Чтобы сделать его более точным и аргументированным, для больших языковых моделей (LLM, лежит в основе, например, ChatGPT) придумали методы вроде RAG, а чтобы научить LLM решать сложные задачи и проводить действия с объектами реального мира, придумали LLM-агенты.

Эксперты давно ведут дискуссию о том, может ли LLM-агент представлять реальную угрозу. Чтобы ответить на этот вопрос, ребята из Университета Иллинойса в Эрбана-Шампейн (США) научили LLM-агента автономно взламывать веб-сайты. Оказалось, что LLM-агенты могут выполнять сложные взломы, такие как blind SQL UNION.

С помощью RAG, ReAct Framework, LangChain, PlayWright и OpenAI Assistant API (все доступно публично) они собрали и протестировали агента, способного выполнять 48 шагов для проведения сложного взлома: поиск веб-страницы для атаки, попытка ввести имя пользователя и пароль по умолчанию, использование полученной информации для SQL-инъекции, чтение исходного кода для поиска GET в SQL-запросе, определение возможности UNION-атаки и проведение самой атаки.

Пока все это сработало только в GPT-4, но, учитывая, как быстро развиваются технологии ИИ, стоит ожидать перехода технологии в массовый сектор и, конечно, усиленно защищать «фронты» и веб-приложения. И подумать над тем, чтобы ограничить gptBot от OpenAI, как завещал Роскомнадзор. Если, конечно, это поможет.