🧠 کارت گرافیک قوی نداری؟ هنوزم میتونی مدل های بزرگ AI رو لوکال اجرا کنی!
🔘 خیلی ها فکر میکنن اجرای مدل های بزرگ هوش مصنوعی حتما به یه GPU گرون قیمت نیاز داره؛ اما Quantization این معادله رو تا حد زیادی تغییر داده.
🔘 تیم Unsloth نسخه های فشرده شده مدل هایی مثل Qwen و DeepSeek رو در Hugging Face منتشر کرده که میشه با ابزارهایی مثل Ollama، LM Studio و llama.cpp اجراشون کرد. حتی برای مدل های 32B هم نسخه های بسیار فشرده مثل IQ1 وجود داره.
🔘 این ابزار حجم پارامترهای مدل رو کاهش میده تا مصرف حافظه پایین بیاد؛ البته هرچی فشرده سازی شدیدتر باشه، معمولا باید انتظار افت بیشتری در کیفیت داشته باشی.
🔘 جالب اینکه مدل Qwen2.5-32B منتشرشده توسط Unsloth تحت Apache 2.0 قرار داره و خود Unsloth هم امکان استفاده از مدل ها در ابزارهای مختلف و اجرای محلی رو مستند کرده.
#آموزش #هوش_مصنوعی #گرافیک
#AI #GPU
🆑 @Pc_IT_Mob
September 4, 2026 588 8
