تیم DrivingBench چهار مدل هوش مصنوعی را به فرمان، پدال گاز و ترمز یک خودروی تویوتا کرولا مدل 2022 متصل کرد. خودرو در یک مسیر مشخص‌شده با مخروط‌های ترافیکی در یک پارکینگ خالی حرکت می‌کرد، و مدل‌ها تصاویر را از دوربین‌ها دریافت کرده و دستورات را از طریق ابزارهای کنترلی ارسال می‌کردند.
مدل Astra تنها مدلی بود که به خط پایان رسید. در تلاش اول، این مدل 49 درصد از مسیر را طی کرد، سپس اشتباه خود را اصلاح کرد و در تلاش دوم، مسیر را در 5 دقیقه و 22 ثانیه به پایان رساند. بهترین نتیجه مدل Claude Fable 5.1، 45 درصد بود؛ مدل‌های Grok 4.6 و GPT-5.6 Sol نتوانستند حتی اولین پیچ را طی کنند.
در تمام طول مسیر، یک انسان پشت فرمان حضور داشت و آماده بود تا در صورت لزوم، ترمز را فعال کند. نویسندگان، یک سری آزمایش را برای هر مدل انجام دادند، بنابراین نمی‌توان بر اساس این نتایج، در مورد قابلیت اطمینان این مدل‌ها در شرایط واقعی رانندگی قضاوت کرد. با این حال، این آزمایش نشان می‌دهد که یک مدل هوش مصنوعی عمومی قادر است یک خودروی فیزیکی را کنترل کند و در حین انجام وظیفه، اشتباهات خود را اصلاح کند.
@ITSecurityComputer
