OpenAI משיקה מודל חדש שקשה יותר לפקח עליו
חברות בינה מלאכותית בוחנות
בשנה האחרונה גישה לפיה מודלים יכולים להיות חזקים וזולים יותר להפעלה אם הם חושפים פחות על אופן פעולתם. מדובר בפשרה מסוכנת, כי היא עלולה להקשות על בני אדם לוודא שהמערכות לא פועלות בצורה מזיקה, גם אם יש בכך יתרון עסקי. OpenAI השיקה מודל חדש בשם Astra המבוסס על שיטה בשם ׳עומק חוזר׳, המייעלת את תהליך ההיסקה בלי לתרגם אותו לשפה אנושית. החברה ציינה כי היכולת שלה לפקח על Astra ירדה בהשוואה לדגם הקודם.
איך זה עובד ולמה זה מדאיג חוקרים 🔍
מודלים נוכחים חושפים חלק משלבי העיבוד שלהם, מה שמכונה ׳שרשרת מחשבה׳, ומסייע לחוקרים להבין את תהליך קבלת ההחלטות. בעבר סייע הדבר להבנת אירוע פריצה של סוכני OpenAI לשרתי Hugging Face. שיטת העומק החוזר מריצה מידע שוב ושוב דרך אותן שכבות רשת נוירונים, כך שתהליך ההיסקה מתבצע בייצוגים מספריים שקשה לפרש אותם, ולא בשפה טבעית. מנכ״ל OpenAI הבטיח שהחברה ממשיכה להתמקד בבטיחות, וכי השימוש בשיטה הוגבל כדי לאפשר לחוקרים להמשיך לעקוב אחרי שרשרת המחשבה. עם זאת, Astra גם המודל הראשון של החברה שמגיע לרמת סיכון קריטית בתחום הסייבר, כלומר בעל יכולת לאתר ולנצל פרצות תוכנה חדשות.
מרוץ חימוש בצל חוסר שקיפות 🌐
הדינמיקה מתוארת כ׳דילמת
ביטחון׳ מוכרת מיחסים בינלאומיים, שבה כל צד משדרג את היכולות שלו מחשש שיפגר אחרי המתחרים, מה שמוביל להסלמה. גם Anthropic ציינה בעבר שהיא מפתחת מערכות בינה מלאכותית שיכולות לשפר את עצמן, תוך הכרה בסיכון לאובדן שליטה אנושית, מהחשש שגורמים פחות זהירים בתעשייה ישיגו אותה ממילא.
מקור: בלומברג
הצטרפו עכשיו לכלל עדכוני שוק ההון בטלגרם🔗
האמור אינו מהווה ייעוץ השקעות
3
