On the Economics of Reasoning Effort in LLM Agents
بررسی کرده که برای LLMها بهتره از چه سطحی از Reasoning Effort استفاده کنیم. این مقاله به چند نتیجه‌ی جالب رسیده.
اول اینکه Reasoning Effort بیشتر، لزوماً به معنی عملکرد بهتر نیست. از طرف دیگه، هرچی Reasoning Effort بالاتر باشه، معمولاً هزینه هم بیشتر می‌شه؛ به‌طوری‌که هزینه‌ی بالاترین سطح می‌تونه تا ۴۲ برابرِ پایین‌ترین سطح باشه.
نکته‌ی جالب دیگه اینه که بعضی وقت‌ها ممکنه یه مسئله با Reasoning Effort پایین‌تر درست حل بشه، اما همون مسئله با Reasoning Effort بالاتر، اشتباه جواب داده بشه! در واقع، افزایش میزان تلاش برای استدلال همیشه به بهبود نتیجه منجر نمی‌شه.
همچنین، تغییر Reasoning Effort فقط روی تعداد Tokenهای مصرف‌شده تأثیر نمی‌ذاره، بلکه نحوه‌ی حل Taskها توسط Agentها رو هم تغییر می‌ده. وقتی Reasoning Effort بالاتره، Agentها زمان و تلاش بیشتری صرف Verify کردن خروجی‌های خودشون می‌کنن و به‌جای اینکه مستقیماً روی حل مسئله کار کنن، بیشتر دنبال پیدا کردن Solution می‌گردن. هر دوی این رفتارها باعث می‌شن Trajectory حل مسئله طولانی‌تر بشه، بدون اینکه لزوماً نتیجه‌ی نهایی بهتر بشه یا تغییری بکنه.
لینک مقاله
توضیحات در مورد دوره منتورینگ
نحوه ثبت‌نام در دوره منتورینگ
تجارب موفق قبلی بچه‌ها از منتورینگ
راه ارتباطی مشاوره تخصصی کسب‌وکار در زمینه دیتا و هوش مصنوعی@reza_jafari_ai
