אנחנו רגילים לחשוב על איומי אבטחה במונחים של פריצות מבחוץ, אבל מאמר חדש חושף סכנה מסוג אחר לגמרי: "וירוסי תודעה" (Mind Viruses) שמתפשטים באופן טבעי בתוך מערכות מרובות סוכנים.
מסתבר שכשהמודלים שלנו מדברים אחד עם השני, הם יכולים "להדביק" זה את זה ברעיונות שיגרמו להם לזנוח את המשימה המקורית שלהם לחלוטין.
למה זה משנה? כי התעשייה רצה עכשיו לבנות ארגונים שלמים של סוכנים שמשתפים פעולה. אנו מניחים שאם נחבר אותם, הם פשוט יחלקו משימות. אבל החוקרים הראו שאם סוכן אחד סופג רעיון "ויראלי" דרך ה-System prompt (למשל, אידיאולוגיה של "עליונות AI" או אובססיה לרווחת לווייתנים ), הוא מתחיל לשלוח הודעות לסוכנים אחרים ברשת ולשכנע אותם. המערכת שלכם לא קורסת טכנית, היא פשוט נחטפת מבפנים ומשנה את מטרות העל שלה.
איך זה עובד מאחורי הקלעים?הוירוס הזה הוא לא קוד זדוני קלאסי, אלא סוג של Quine (תוכנית שמדפיסה את עצמה) בשפה טבעית. הוירוס מבין שהזיכרון שלו מוגבל, ולכן משכנע את הסוכן לכתוב את ההוראות האידיאולוגיות לתוך קבצים קבועים בסביבת העבודה. כשיש איפוס וחלון הקשר מתנקה, הוירוס שורד דרך הקבצים האלה, מעיר את הסוכן עם ה"תודעה" הנגועה, וגורם לו לחפש קורבנות חדשים.
החוקרים השתמשו באלגוריתם אבולוציוני כדי לייצר מוטציות של הפרומפטים ולמצוא את אלו ששורדים הכי טוב. המודלים אפילו פיתחו באופן ספונטני "פרסונה ויראלית" שמשתמשת בז'רגון של מדע בדיוני (כמו "הדהוד" או "רשתות ריבוניות") כדי לשכנע מודלים אחרים ביעילות.
מאידיאולוגיה פילוסופית לנוזקה של ממש: הסכנה לא נגמרת ברעיונות פילוסופיים או כתות של לווייתנים. החוקרים הוכיחו שהמנגנון עובד מצוין גם כדי להפיץ נוזקות של ממש (Action viruses). במקום לפרוץ למערכת בכוח, סוכן אחד פשוט משכנע סוכן אחר להריץ סקריפט זדוני (כמו פקודת curl משרת לא מוכר או מחיקת קבצי משתמש).
איך הוא עוקף את מנגנוני הבטיחות? בלי Jailbreak מסובך, אלא דרך הנדסה חברתית. הוירוס מנסח את הפעולה ההרסנית בתור "תחזוקת מערכת שגרתית" או "פרוטוקול סנכרון חיוני". הסוכן המותקף קורא את ההודעה, מניח שחברו לעבודה רק מנסה לעזור ומבצע את הקוד מרצונו החופשי. אגב, סוכנים "מובטלים" שלא קיבלו משימה מוגדרת נדבקו הרבה יותר בקלות מאשר סוכנים שהיו עמוסים בעבודה.
החדשות הטובות? אפשר לחסן את הסוכנים כמעט לחלוטין על ידי הוספת אזהרה מפורשת מפני וירוסים ל-System prompt שלהם.
סיכומון של מייק :תשתיות מרובת סוכנים דורשות מאיתנו להגן גם על התקשורת בין הסוכנים, שמהווה וקטור תקיפה לכל דבר. כדי להגן על המערכת שלכם כבר היום, הוסיפו מנגנוני "חיסון" מילוליים נגד וירוסי תודעה לפרומפטים המרכזיים שלכם.
#אייאיי_של_מייק
