Исследователи из UC Berkeley, Seoul National University и UC Santa Barbara опубликовали масштабный обзор безопасности агентных AI-систем (
SoK: Attack and Defense Landscape of Agentic AI Systems). Авторы выделяют 7 ключевых аспектов, от которых зависит безопасность AI-агента:
• доверие к входным данным;
• доступ к конфиденциальной информации;
• динамические рабочие процессы;
• возможность выполнять действия;
• долговременная память;
• использование инструментов (MCP, API и др.);
• пользовательский интерфейс.
Исследование также описывает основные угрозы:
⚠️ Prompt Injection (прямой и косвенный);
⚠️ отравление памяти (Memory Poisoning);
⚠️ вредоносные инструменты (Tool Poisoning);
⚠️ утечки конфиденциальных данных;
⚠️ выполнение несанкционированных действий;
⚠️ атаки через галлюцинации LLM;
⚠️ DoS и чрезмерное потребление ресурсов.
Для защиты авторы рекомендуют применять многоуровневую архитектуру безопасности:
🛡️ Input/Output Guardrails;
🛡️ контроль потоков данных (Information Flow Control);
🛡️ мониторинг поведения агентов;
🛡️ Human-in-the-Loop для опасных операций;
🛡️ разделение привилегий;
🛡️ управление доступом и учетными данными;
🛡️ усиление защиты моделей и инструментов.
Если вы разрабатываете AI-агентов или интегрируете MCP, внешние API и RAG, эта работа - один из самых полных обзоров современных угроз и методов защиты.
https://www.usenix.org/system/files/conference/usenixsecurity26/sec26_prepub_kim-juhee-agentic.pdf
Мы в MAX👉@thehaking
