چرا بعضی مدل‌های AI وسط گفتگو اطلاعات قبلی رو فراموش می‌کنن؟احتمالاً برات پیش اومده که یک فایل طولانی یا چندین هزار خط کد به هوش مصنوعی بدی و بعد از چند پیام، مدل دیگه نتونه به بعضی اطلاعات قبلی اشاره کنه.
یکی از مفاهیمی که باید بشناسی Context Window هست:حداکثر تعداد توکن‌هایی که مدل می‌تونه در یک درخواست و در محدوده متن قابل پردازشش داشته باشه.
این ظرفیت ممکنه شامل پیام‌های قبلی، System Prompt، فایل‌های ورودی و توکن‌های خروجی هم بشه.
مثلاً اگر یک مدل Context Window برابر با 128K داشته باشه، یعنی ظرفیت پنجره متنی اون حدود ۱۲۸ هزار توکنه؛ نه اینکه لزوماً بتونی ۱۲۸ هزار توکن ورودی بفرستی و بعد خروجی نامحدود بگیری!
چرا اهمیت داره؟
برای تحلیل پروژه‌های بزرگ کدنویسی.برای پردازش اسناد طولانی.برای Agentهایی که چندین مرحله اطلاعات ردوبدل می‌کنن.برای Chatbotهایی که تاریخچه گفتگو رو نگه می‌دارن.
یه نکته مهم:کانتکست بزرگ‌تر الزاماً به معنی درک بهتر نیست. کیفیت بازیابی اطلاعات از متن‌های طولانی و نحوه مدیریت تاریخچه گفتگو هم اهمیت زیادی داره.
شما تا حالا به محدودیت Context Window برخورد کردید؟
#آموزش_API #هوش_مصنوعی
https://sinoxapi.com
