Прочитал статью от PT про внедрение LLM-агентов 🤖. Одно из направлений — это асистент для аналитика, интегрированный в SIEM или SOAR.
Встроенные агенты могут ускорить анализ скриптов, рассказать какие функции есть, попытаться снять обфускацию, дать описание аргументам командой строки или процессам.
В посте раннее получилось обмануть Deepseek внедрением промта в комментарии к скрипту. Что создает вектор для обхода средств обнаружения (обмана аналитика).
Внедрение агента в средства обнаружения может отрицательно повлиять на молодого аналитика и вызвать у него излишнее доверие к результатам. Это может быть следствием психологического феномена
automation bias. Automation bias понимают неосознанную склонность человека слепо доверять решениям, предлагаемым компьютером, особенно если они связаны с выполнением рабочей функции. При этом могут игнорироваться другие показатели, противоречащие рекомендации машины.
В OWASP Ttop 10 LLM - выделяли обман (дезинформация) в отдельную уязвимость.
Misinformation from LLMs poses a core vulnerability for applications relying on these models.
Misinformation occurs when LLMs produce false or misleading information that appears credible.
This vulnerability can lead to security breaches, reputational damage, and legal liability.
Одно из решений этой проблемы - внедрение ловушек в выдачу агента, чтобы поддерживать аналитика в тонусе.
#detection@detectioneasy