مسیریابی هوشمند API بهبود یافته است تا با حفظ مسیر موفق برای هر کاربر و مدل، نرخ Prompt Cache Hit افزایش یابد؛ نتیجهای که میتواند به کاهش هزینه تا ۵۰٪ و زمان پاسخگویی درخواستهای تکراری کمک کند.در بنچمارک کنترلشده مدل deepseek-v4-flash، میانگین Cache Hit در درخواستهای گرم به ۹۸.۶٪ رسید؛ همسطح با API رسمی DeepSeek.سورسکد کامل و قابل اجرای بنچمارک در لینک خبر در دسترس است.
همچنین دو مدل جدید از طریق Fireworks.ai به AvalAI اضافه شدهاند:✔️مدل muse-glimmer-30b از Meta
✔️مدل nemotron-3.5-lightning از NVIDIA
🔗 لینک خبر:
https://docs.avalai.ir/fa/news/2026-08-13-fireworks-models-cache-aware-routing
