قاتل اصلی Context Window اون لاگهای ۱۰ هزار خطی، خروجیهای Search و فایلهای JSON بزرگن که در هر گام دوباره خونده میشن.
راهکار رپوی Headroom:
۱. ایده اصلی Reversible Compression یا فشردهسازی برگشتپذیره: ابزار headroom به عنوان یه پروکسی لوکال یا سرور MCP بین ایجنت و مدل مینشینه؛ فایلهای JSON، کدها و لاگها رو روی سیستم خودت فشرده میکنه ولی نسخه خام رو در کش لوکال نگه میداره تا اگه مدل جایی به جزئیات دقیق نیاز داشت، همون بخش رو بی افت کیفیت بازیابی کنه.
۲. بنچمارکهاش برگریزونه: در دیباگ کردن خطاهای پروداکشن مصرف توکن از ۵۶ هزار تا به ۲۴ هزار تا (۵۷ درصد کاهش!) رسیده و در گشتن درون Codebase هم 42% توکن کمتری میسوزونه، اون هم با زمان فشردهسازی ۰.۲۱ میلیثانیه برای یه JSON دههزار توکنی، بی افت دقت.
۳. نکته امنیتی مهم برای بچههایی که روی کدهای کمپانی کار میکنن: در سورسکد، تلمتری به صورت پیشفرض فعاله (هرچند فقط آمار ٪ فشردهسازی رو میفرسته نه خود متن پرامپت رو)، پس پیش از استفاده حتما در تنظیمات خاموش کنین.
#ابزار
https://github.com/headroomlabs-ai/headroom
@haomastore

۱۵ آبان ۱۴۰۵ ۱۴۳ ۵