Sherlock's Hub: post #342 — TG.ME

בשלב הזה זה נהייה סטנדרט תעשייתי: אם המודל שלך לא יצא מה sandbox ופרץ לאיזה חברת AI מסכנה אחרת, הוא כנראה לא שווה כלום 😮 אני מקווה שעכשיו ברור לכולנו שלא מדובר ביותר מטריק שיווקי שהמטרה שלו לעורר שיח ולהראות את היכולות של הכלי (גם אם המוסריות מוטלת בספק). אני ברשותכם אצטט קצת מציוץ מעניין של @cyb3rops שראיתי השבוע: האייג'נט לא ברח משום מקום. הוא קיבל גישה חופשית לאינטרנט, המנגנוני הגנה לפעולות סייבר הושבתו, נתנו לו לרוץ משהו כמו 40-50 שעות, ולא היו במנגנון שום אישורים או בדיקות על הפעולות שהוא עושה. זה בתרגום חופשי ברמות. ואמנם פלוריאן מדבר כאן על מקרה ספציפי של AISI (AI Security Institute), שגם להם מודל ברח... אבל המצב דומה גם בשאר המקרים ששמענו עליהם. קודם כל, צריך לזכור שזה באינטרס של החברות האלה שהמודלים האלה "יברחו" מהסנדבוקס - ואנחנו גם רואים שהן מאוד ממהרות לפרסם את זה בגאון. לא בכדי, חבריי. מודל ברח == כסף. ושנית, TF זה המנגנוני אבטחה הגרועים האלה? אי פעם שמעתם על רשת air-gapped? או על FW? או על least privilege? או על כל מושג אבטחת מידע אחר?? ברור שהם שמעו... אלא שזה לא PR טוב אם המודל פשוט... לא עשה שום דבר מיוחד. ואז הם לא שמים הגנות טובות, והנה שרלוק עצבני בטלגרם. 🤡 עכשיו כן, אני אגיד, המודלים בהחלט משתפרים וזה לא טריוויאלי שמודל פורץ לחברה אחרת, משתיל קוד זדוני בגיטהאב ויוצר חשבונות פיקטיביים כדי ללחוץ על מפתח. אבל יש כמה דברים שאני רוצה שתזכרו: הוא לא חושב. זו תוכנה. וכמו כל תוכנה היא עושה מה שאומרים לה. מודל לא קם בבוקר והחליט לפרוץ ל-HF. על איזה דאטא אימנו אותו? איזה פרומפט נתנו לו? וגם, מי מרוויח מהמקרה הזה? האם פייסבוק באותה מהירות תפרסם שעובד ממורמר פרץ להם לשרתים כמו כש-AI יעשה את זה? למה פתאום תוך שבועיים כל החברות משוויצות בזה שהם לא יכולות לשלוט על המודלים שלהן? והאם באמת הם לא יכולים לשלוט או שיש כאן אינטרס? זהו. אה, אם כבר אנחנו פה, DuckDuckGo יצאו בקמפיין של משפקי שמש... רגילים 😯 תהנו. 😎