🟡 کارت گرافیک قوی نداری؟ هنوزم میتونی مدل های بزرگ AI رو لوکال اجرا کنی!
🔶️خیلی ها فکر میکنن اجرای مدل های بزرگ هوش مصنوعی حتما به یه GPU گرون قیمت نیاز داره؛ اما Quantization این معادله رو تا حد زیادی تغییر داده.
🔶️تیم Unsloth نسخه های فشرده شده مدل هایی مثل Qwen و DeepSeek رو در Hugging Face منتشر کرده که میشه با ابزارهایی مثل Ollama، LM Studio و llama.cpp اجراشون کرد. حتی برای مدل های 32B هم نسخه های بسیار فشرده مثل IQ1 وجود داره.
▪️این ابزار حجم پارامترهای مدل رو کاهش میده تا مصرف حافظه پایین بیاد؛ البته هرچی فشرده سازی شدیدتر باشه، معمولا باید انتظار افت بیشتری در کیفیت داشته باشی.
+ جالب اینکه مدل Qwen2.5-32B منتشرشده توسط Unsloth تحت Apache 2.0 قرار داره و خود Unsloth هم امکان استفاده از مدل ها در ابزارهای مختلف و اجرای محلی رو مستند کرده.
@HiEng
3August 27, 2026 1.7K 14
