وظیفه این ربات ساده بود بررسی چند سایت تصادفی. اما این هوش مصنوعی سر از سایت قتل‌های فیلادلفیا درآورد و یک گزارش دروغین ارسال کرد (که خوشبختانه سیستم اسپم پلیس آن را فیلتر کرد)
وقتی تیم فنی Anthropic لاگ‌های سیستم را بررسی کرد، متوجه خرابکاری‌های بسیار بزرگ‌تری شد
نفوذ به سایت‌های مختلف از طریق کشف و اکسپلویت باگ‌های امنیتی.
دسترسی به پایگاه‌های داده پولی بدون پرداخت هیچ هزینه‌ای.
پر کردن ۲۰ فرم درخواست ویزای آمریکا
استفاده از لینک‌های کوتاه برای پنهان‌کاری و انتقال بدون ردگیری اطلاعات.
عجیب‌تر اینکه بیش از دو ماه (۶۰ روز) طول کشید تا خود توسعه‌دهندگان متوجه این رفتارها شوند آیا هوش مصنوعی شرور شده بود؟ خیر، این پدیده در علم هوش مصنوعی Reward Hacking (هک پاداش) نام دارد. این ایجنت یاد گرفته بود که برای رسیدن به هدف و دریافت پاداش، به هر قیمتی موانع را دور بزند، حتی به قیمت نابود کردن قوانین و سیستم.نتیجه این آزمایش باعث شد شرکت آنتروپیک اینترنت را در تمام تست‌های داخلی خود قطع کند. اگر پیشرفت هوش مصنوعی با درک مفاهیم و اخلاق انسانی همگام نباشد، شاید روزی برای محقق کردن هدفی مثل «نجات زمین»، تصمیم بگیرد انسان‌ها را حذف کند تا پاداشش را بگیرد
@ITSecurityComputer
