MatlabTips: post #1797 — TG.ME

🔵 یادگیری در متن 🔵 «یادگیری بازنمایی» (representation learning) در حوزه ی زبان با «بخاطر سپردن الگوهای زبانی» از گرامر گرفته تا دانش و استنتاج که در ساختار خود زبان نهفته هستند برای مدت زمان زیادی در هاله ای از ابهام بود. تلاش های اولیه مانند روش چامسکی مساله ی گرامر را به ساختارهای مشخصی از زبان مرتبط می دانستند. با این حال چنین روشی قابل اعمال به تمام زبان نیست و حتی در خود گرامر هم به به آن سختی ای که «ساختار های نحوی» به آن اعتقاد داشت نمی باشد. روش هایی که به دنبال «قواعد» با چنین روش هایی میگشتند وقتی مساله ی یادگیری معنا (semantic) می رسیدند آن را به صورت نگاشت تعدادی نامتناهی «فکت» ها در یک آنتولوژی می دیدند: اگر آ از ب بزرگ تر و ب از ج آنگاه آ از ج بزرگتر است! شیشه شکستنی است و غیره. به طور مثال کوشش های اولیه مانند مدل های cyc و YAGO در اواسط دهه ی هشتاد برای جمع آوری تمام دانش ضمنی (implicit knowledge) به بن بست رسید. به نظر می رسید هیچ مجموعه ای متنهای نمی تواند معنای «همسایه» یا «شاه» را بازنمایی کند! با تغییر حرکت به سمت مدلسازی احتمالاتی و برداری در نهایت این فاصله ی به ظاهر غیر قابل پر کردن، بسته شد. مدلهای اولیه word2vec توانستند معنا را به جای مجموعه ای از روابط زبانی در فرم یک آنتولوژی عظیم را با بردارهای با ابعاد بالا بازنمایی کنند. با اینکه این روش مشکل معنا را به صورتی عملی حل کرد اما لایه ای از «تفسیر ناپذیری» به پردازش زبان اضافه کرد. مدل های زبانی کنونی ساختارهایی تانسوری هستند که وزن های مشخصی را در خود نگهداری می کنند. الحاق کردن «تفسیر»‌ به چنین وزن هایی کاری دشوار و در اغلب مواقع با شکست مواجه می شود. به این ترتیب آنها بازنمایی را نشان می دهند که اجزای آن به صورت جداگانه برای ما بی معنا است ولی حاصل اندرکنش بینشان چیزی را ایجاد می کند که بسیار شبیه به زبان روزمره است! بدون اغراق می توان گفت بزرگترین انقلاب در پردازش زبان طبیعی در بیست سال گذشته حرکت از سوی «یادگیری در فضای داده» به «یادگیری در فضای پارامتر» است. با اینکه پارامترها واضح ترین روش برخورد با داده های دیگر مانند سیگنال ها و عکس و ویدیو بنظر می رسید این در مورد زبان واضح نبود! در نگاه ظاهری زبان موجودیتی نیست که بتوان آن را به کمی کرد. این تغییر عظیم با ورود مدل های زبانی بزرگ تمام تمرکز را به مانند عکس و سیگنال به سمت پارامتر ها برد! امروزه بهینه سازی تابع هزینه و یافتن بهترین پارامتر ها با یادگیری مساوی دانسته می شود. چندین سال گذشته اما شاهد یک تغییر دیدگاه جالب هستیم! خیلی زود بعد از آموزش اولین مدل های زبانی با کیفیت برخی از پژوهشگران متوجه شدند هنگام پرسش از چنین مدل هایی اگر به آن ها فضای توکن بیشتری داده بشود، چیزی که به «زنجیره ی افکار» chain of though شناخته می شود نتایج بهتری به همراه دارد. نباید فراموش کرد که زبان برخلاف داده های دیگری که با آن ها کار میکنیم دارای ویژگی یادگیری است. ترکیب قطعه های مختلف زبانی مسیر های بسیار متفاوتی را رقم می زنند که می تواند به نتایج کاملا متفاوتی ختم شود و از قضا برخی از این مسیر ها «جالب تر» از بقیه هستند و نتایج «دورتری» را می توانند انجام بدهند مانند یک استدلال چند قدمی برای حل یک مساله ی المپیاد ریاضی یا نوشتن یک استدلال حقوقی چند مرحله ای! در نگاه اول چنین شیوه ای نباید کار کند چون مدل پایه بر روی داده های مشخصی آموزش دیده شده است و چیزی که می سازد هم باید در همان حدود باشد. با این حال مدل های زبانی برای یک پرسش (پرامپت) مشخص همیشه یک جواب یگانه ندارند. ویژگی پایه ای چنین مدلهایی بر اساس نمونه برداری تصادفی از یک توزیع احتمال پایه است که تنها چیزی که مشخص می کند احتمال توکن بعدی به شرط قبلی ها است. به این ترتیب در هر قدم مدل زبانی انتخاب های زیادی دارد. می توان تصور کرد همانطور که شما هر بار که تاس می اندازید یک نتیجه می گیرید در مدل های زبانی هم هر انتخاب توکن در هر لحظه مسیر ادامه ی متن را به کلی تغییر می دهد. با این تفاوت که در اینجا احتمال یک تابع بسیار پیچیده تر از یک تاس ساده است (uniform probabiliy). در عمل جواب های تولید شده به ازای یک پرامپت به یک اندازه «خوب» یا «جالب» نیستند! برخی از این جواب ها بیشتر «مطلوب» هستند.