🔥 پروژه: سرور LLM روی مک Apple Silicon
روی مک با Apple Silicon کار می‌کنی و می‌خواهی LLM محلی سریع داشته باشی؟ پروژه omlx دقیقا برای همین است 🤓
یک inference server سبک که مدل‌ها را با continuous batching و کش روی SSD اجرا می‌کند و همه‌چیز از منوی بالای macOS مدیریت می‌شود؛ بدون ترمینال، بدون دنگ‌وفنگ.
برای تست و دیباگ اپ‌های هوش مصنوعی روی مک گزینه‌ٔ خیلی جمع‌وجوری است.
لینک گیت‌هاب را یک‌بار چک کن، شاید دقیقا همان چیزی باشد که دنبالش بودی.
⭐️ 1,102 stars this week
🔖 #Programming #برنامه_نویسی #هوش_مصنوعی #LLM #Apple_Silicon
💎 @DevelopixChannel
3
1۲۹ مرداد ۱۴۰۵ ۴۷۶ ۲
