🧮 تیپ #27
سقف توکن برای هر گام، ترمز هزینه و تأخیر
برای هر گام از حلقهٔ ایجنت یک سقف توکن تعیین کنید، نه فقط یک محدودیت کلی برای کل اجرا 💸. طول خروجی و اندازهٔ کانتکست هم‌زمان روی تأخیر و هزینه اثر می‌گذارند، پس بودجهٔ توکن در عمل بودجهٔ زمان هم هست. بزرگ‌ترین نشتی پنهان معمولاً خروجی ابزارهاست: JSON حجیم را قبل از برگرداندن به کانتکست خلاصه یا فیلتر کنید. وقتی بودجه تمام شد، به‌جای چرخیدن در حلقه، پاسخ ناقص را با پیام روشن برگردانید و مصرف هر گام را لاگ کنید.
Cap tokens per step, not just per run
Give every step of an agent loop its own token budget, not just one global cap for the run 💸. Output length and context size drive both latency and cost, so a token budget is really a time budget. The biggest hidden leak is usually tool output: summarize or filter bulky JSON before it re-enters the context. When the budget runs out, return a partial answer with a clear message instead of letting the loop spin, and log per-step usage so you can see where the tokens actually go.
@dslanders
شکرزاد
نکته‌های روز ساخت AI Agent | شکرزاد
نکته‌های روزانه و کاربردی برای یادگیری ساخت عامل‌های هوش مصنوعی (AI Agent): مفاهیم پایه، نکات پیشرفته و اخبار تازه، هر روز یک مفهوم.
3
3
1۳۰ مهر ۱۴۰۵ ۹۹۰ ۸
