Forget the year of the agent - we're in the decade of agents for a… — DeepSeed — TG.ME

Forget the year of the agent - we're in the decade of agents for a reason. تو مصاحبه آخر آقای Andrej Karpathy صحبت های خوبی راجب چشم اندازه هوش مصنوعی شد . بنظر ایشون ما الان در دهه agent ها قرار داریم و نه سال agent ها . اون معتقده مردم زیادی هیجان‌زده شدن، در حالی که رسیدن به ایجنت‌های (Agents) واقعی که بتونن مثل یه کارآموز یا کارمند کنار ما کار کنن، هنوز خیلی کار داره و با موانع جدی روبروئه. به طور مثال هوش مصنوعی فعلی مثل یه دانش آموزیه که فقط درسو حفظ کرده ، ولی وقتی با یه مسئله جدید و خارج از کتاب روبرو میشه اوضاع قاراشمیش میشه :)) در کل یعنی نمیتونه مثل انسان فکر کنه ، تحلیل کنه و راه حل جدید بسازه[Insufficient Intelligence] . مورد دیگه اینکه برخلاف انسان که هر روز از تجربه‌ها، اشتباه‌ها و اتفاقات جدید یاد می‌گیره، هوش مصنوعی بعد از اینکه یک‌بار آموزش داده شد، عملاً یادگیریش متوقف می‌شه. عملا چیزی به حافظه بلند مدتش اضافه نمیکنه و هربار باید از اول با هزینه زیاد آموزش بدی که البته ممکنه چیز های قبلی رو هم یادش بره که این خودش زیرمجموعه مشکل بزرگتری به نام یادگیری مداوم است .[Lack of Continual Learning]. یه قسمت دیگه از این مصاحبه انتقاد شدیدش نسبت به Reinforcement Learning بود . خیلی صریح میگه که افتضاحه چون از نظر اطلاعاتی خیلی ضعیفه . از یه استعاره هم استفاده میکنه و میگه : sucking supervision through a straw یعنی مشکل اینجاست که در Outcome-Based RL، ایجنت یه مسیر طولانی از اقدامات رو انجام میده و در نهایت، فقط یک سیگنال پاداش (مثلاً +۱ برای موفقیت یا -۱ برای شکست) دریافت می‌کنه. حالا اگه پاداش مثبت باشه، سیستم میاد و وزن تمام اقداماتی که تو اون مسیر انجام شده رو بالا می‌بره. این در حالیه که ممکنه خیلی از اون اقدامات میانی، اشتباه بوده باشن ولی اتفاقی منجر به یه نتیجه‌ی خوب شدن. این فرآیند باعث ایجاد یه (Noisy Supervision) میشه و مدل شروع می‌کنه به یادگیری کارهای اشتباه. در ادامه آقای Karpathy میگه : We are not building animals, we are building ghosts و تمایلی نداره هوش مصنوعی رو با حیوانات مقایسه کنه، چون حیوانات طی میلیون‌ها سال تکامل با سخت‌افزار بیولوژیکی (مثل مغز) بهینه‌سازی شدن و وزن‌های شبکه‌ی عصبی‌شون تو DNA کدگذاری شده. در عوض به هوش مصنوعی‌های فعلی رو ghosts یا spirit entities خطاب میکنه . چون اون‌ها کاملاً دیجیتالی هستن و هوش‌شون نه از طریق تکامل، بلکه از طریق تقلید از انسان‌ها و دیتای عظیم اینترنت شکل گرفته. یه موضوع دیگه که تو ویدئو راجبش بحث شد علت پیشرفت نکردن مدل ها بود . اون میگه فرآیند pre-training در LLMها همزمان دو چیز رو به مدل یاد میده: دانش (Knowledge) (که از دیتای اینترنت میاد) و هوش (Intelligence) (که الگوهای الگوریتمی و حل مسئله‌ست). دانشی که مدل یاد می‌گیره، مثل یه خاطره مه‌آلود می‌مونه. کارپاتی معتقده که شاید همین اتکای زیاد به دانش ذخیره شده، جلوی پیشرفت مدل‌ها رو می‌گیره. هدف نهایی باید رسیدن به یک «هسته شناختی» (cognitive core) باشه .یعنی مدلی که فقط الگوریتم‌های هوش و حل مسئله رو بلد باشه، نه اون همه دانش پراکنده رو. اینطوری مدل‌ها خیلی کوچیکتر، بهینه‌تر و قوی‌تر میشن. پارت آخر : کارپاتی به یه مشکل جدی به اسم Model Collapse هم اشاره می‌کنه. این یعنی مدل‌ها بعد از مدتی تنوع خروجی‌هاشون رو از دست میدن و تو یه دایره‌ی محدود از افکار گیر می‌کنن . آموزش دادن مدل‌ها با دیتایی که خودشون تولید کردن این مشکل رو بدتر هم می‌کنه. در مورد AGI اون منتظر یه intelligence explosion ناگهانی نیست، بلکه معتقده این یه فرآیند تدریجی اتوماسیونه. استقرار این سیستم‌ها در دنیای واقعی به شدت سخته و با چالشی به اسم رژه‌ی نُه ها(march of nines یا همچین چیزی)روبروئه. یعنی: رسوندن دقت یک سیستم (مثل ماشین خودران) از ۹۰٪ به ۹۹٪ به همون اندازه سخته که رسوندنش از ۹۹٪ به ۹۹.۹٪. و در نهایت، در مورد Superintelligence (ابَرهوش)، نظرش این نیست که یک موجودیت واحد کنترل همه‌چیز رو به دست می‌گیره، بلکه فکر می‌کنه ما به تدریج کنترل رو به چندین موجودیت مستقل می‌بازیم که کم‌کم سرکش میشن. لینک کامل ویدئو : https://www.youtube.com/watch?v=lXUZvyajciY