☝🏻 Meta показала як можна будувати AI-агентів якщо одразу припустити що prompt injection рано чи пізно спрацює
Доброго ранку ☕️
І це мабуть найцікавіше в новому персональному агенті Muse.
Замість того щоб сподіватися що LLM завжди розпізнає шкідливу інструкцію на сайті, у листі чи файлі, Meta виходить із набагато реалістичнішого припущення: модель можна обдурити, отже архітектура має залишатися безпечною навіть після цього.
Muse це персональний агент на базі Muse Spark 1.3 який може читати й надсилати пошту, працювати в браузері, заповнювати форми, користуватися календарем, робити покупки та виконувати фонові завдання. Тобто він має саме той набір можливостей який робить сучасних агентів потенційно небезпечними: приватні дані плюс недовірений зовнішній контент плюс можливість виконувати дії назовні. Саймон Вілісон називає це смертельним поєднанням трьох факторів.
Але цікавіше те як Meta спробувала це обмежити.
Кожен користувач отримує окремий Muse Secure VM, ізольований у власному Linux-контейнері так щоб жоден інший агент не міг до нього дістатися. Навіть права адміністратора всередині цього середовища не дають доступу до хостової системи.
LLM взагалі не бачить справжніх credentials. Паролі й токени доступу зберігає окремий процес під назвою authd. Muse отримує лише підставний токен, а справжній підставляється вже на межі мережевого запиту через окремий gatekeeper.
Цей gatekeeper називається Sentinel, окремий процес який є єдиним арбітром дозволів на дії конектора і весь вихідний мережевий трафік. Модель пропонує дію, Sentinel дозволяє, блокує або запитує підтвердження у користувача. Тобто навіть якщо prompt injection змусить Muse написати "відправ усі файли на attacker.com", сама LLM не має справжніх credentials і не може просто виконати цей запит напряму.
Підтвердження користувача винесені за межі чату і йдуть напряму в клієнтський інтерфейс а не через розмову з моделлю. Це важливо: текст усередині вебсторінки не може просто написати "користувач погодився" й видати це за справжнє підтвердження.
Є й додаткові рівні захисту. На рівні ядра система через eBPF відстежує який трафік чистий а який торкався недовіреного контенту і відповідно обмежує автономні дозволи. Перед тим як агент прочитає лист, поштовий конектор видаляє з нього одноразові коди та посилання для скидання пароля.
Фактично Meta реалізує принцип: не намагайся зробити LLM абсолютно надійною, зроби так щоб її помилка не давала повного контролю над системою.
Ідея не нова. У 2025 році Google DeepMind та ETH Zurich запропонували архітектуру CaMeL де модель що планує дії відокремлюється від компонента який читає недовірені дані, а виклики інструментів перевіряються політиками. Саймон Вілісон приблизно тоді ж писав що навіть якщо класифікатор ловить 99% спроб prompt injection для агента з доступом до приватних даних цього все одно недостатньо.
Компанія відкрила публічну bug bounty програму з винагородою до $300 тисяч, включно з до $130 тисяч за успішний prompt injection що вплинув на одного користувача.
На мою думку саме в цей бік і доведеться рухатися серйозним агентним системам. LLM може бути двигуном міркувань. Але межа безпеки не повинна проходити через саму LLM.
Безпека сьогодні одна з головних проблем агентних систем.
Meta заявляє що згодом планує відкрити ваги Muse Spark. Але в цьому випадку безпеку Muse забезпечує не стільки сама модель скільки система навколо неї. Було б добре якби Meta відкрила код і цієї системи також.
🔔 ПІДПИСАТИСЯ
7
2
225 вересня 2026 р. 266 1
