تیپ #32 جستجوی ترکیبی: کلیدواژه به‌علاوهٔ بردار بازیابی صرفاً برداری…

🧩 تیپ #32

جستجوی ترکیبی: کلیدواژه به‌علاوهٔ بردار
بازیابی صرفاً برداری معنا را خوب می‌گیرد، اما کد خطا، شناسهٔ سفارش یا نام دقیق محصول را از دست می‌دهد؛ جستجوی کلیدواژه‌ای هم دقیقاً برعکس عمل می‌کند. کافی است هر دو بازیابی را موازی اجرا کنید و فهرست‌های رتبه‌بندی‌شده را با روش RRF ادغام کنید 🔀، یعنی امتیاز هر سند برابر مجموع ۱ تقسیم بر (۶۰ به‌علاوهٔ رتبهٔ آن در هر فهرست) باشد. بعد از ادغام، ۵۰ سند برتر را با یک مدل رتبه‌بندی مجدد امتیازدهی کنید؛ در عمل همین یک تغییر بیشتر خطاهای بازیابی ایجنت را حل می‌کند تا عوض کردن مدل embedding.

Hybrid search: fuse keywords with embeddings
Vector search is great at meaning but blind to exact tokens like error codes, SKUs, or product names, while keyword search nails those and misses paraphrases. Run both retrievals in parallel and merge the ranked lists with Reciprocal Rank Fusion, where each document scores the sum of 1/(60 + its rank) in each list 🔀. Then rerank the fused top 50 with a cross-encoder. In practice this one change fixes more agent retrieval failures than swapping in a bigger embedding model.

@dslanders
شکرزاد
نکته‌های روز ساخت AI Agent | شکرزاد
نکته‌های روزانه و کاربردی برای یادگیری ساخت عامل‌های هوش مصنوعی (AI Agent): مفاهیم پایه، نکات پیشرفته و اخبار تازه، هر روز یک مفهوم.
❤4👍2👌1
۵ آبان ۱۴۰۵ ۴۷۷ ۲