اگر می‌خواید مدل‌های زبانی غول‌پیکر رو روی همون سیستمی که الان دارید اجرا کنید، پروژه متن‌باز Colibri دقیقاً برای همین ساخته شده.
چرا Colibri کاربردیه؟ این ابزار یک موتور سبک بر پایه C خالص (بدون وابستگی اضافه) است که اختصاصاً برای معماری‌های Mixture of Experts (MoE) طراحی شده.
ویژگی‌های کلیدی:استریم از دیسک: اکسپرت‌ها مستقیماً از روی حافظه دیسک خوانده و Stream می‌شوند تا بخش بسیار کمی از RAM درگیر بمونه.
پشتیبانی چندگانه: دارای مسیرها و Backendهای اختصاصی برای CPU و GPU.
پشتیبانی چند پلتفرمی: راهنمای نصب سرراست برای Windows، Linux و macOS.
اگر در زمینه Self-Hosted AI فعالیت دارید یا می‌خواید اینفرنس مدل‌های حجیم رو بهینه‌تر اجرا کنید، این پروژه رو از دست ندید.
لینک گیت‌هاب@ITSecurityComputer
