✂️ تیپ #31
قطعه‌بندی اسناد در RAG: اندازه و هم‌پوشانی را جدی بگیرید
کیفیت بازیابی در سامانه‌های RAG بیش از هر چیز به نحوه تکه‌تکه کردن اسناد بستگی دارد، ولی بسیاری از تیم‌ها همان مقدار پیش‌فرض کتابخانه را رها می‌کنند. یک نقطه شروع معقول، قطعه‌هایی در حدود ۲۰۰ تا ۵۰۰ توکن با ۱۰ تا ۲۰ درصد هم‌پوشانی است تا جمله‌ای که روی مرز دو قطعه می‌افتد، دست‌کم در یک قطعه کامل باقی بماند 🧩. قطعه‌های خیلی کوچک معنای ناقص می‌دهند و قطعه‌های خیلی بزرگ متن بی‌ربط را وارد پرامپت می‌کنند. به‌جای حدس زدن، دو سه تنظیم مختلف را روی یک مجموعه ارزیابی کوچک امتحان کنید.
Chunk Size and Overlap: The RAG Knobs Nobody Tunes
Chunking is the highest-leverage knob in a RAG pipeline, yet most teams leave it at whatever the default splitter gave them. A solid starting point is roughly 200 to 500 tokens per chunk with 10 to 20 percent overlap, so a sentence that falls on a boundary still lands whole in at least one chunk 🧩. Go smaller and each embedding turns noisy; go bigger and the retriever drags irrelevant text into the prompt. Then stop guessing: run two or three configurations against a small eval set and pick the winner.
@dslanders
شکرزاد
نکته‌های روز ساخت AI Agent | شکرزاد
نکته‌های روزانه و کاربردی برای یادگیری ساخت عامل‌های هوش مصنوعی (AI Agent): مفاهیم پایه، نکات پیشرفته و اخبار تازه، هر روز یک مفهوم.
3
2
2۴ آبان ۱۴۰۵ ۹۹۵
