یه کاربر Reddit نشون داده با کمتر از ۶۰۰ دلار سختافزار (یه ورکاستیشن دستدوم + یه کارت گرافیک RTX) میشه مدلهای ۱۳ میلیاردی رو با سرعت ۳۰ توکن در ثانیه اجرا کرد — یعنی سرعت قابل قبول برای استفادهی روزمره.
چرا این مهمه؟
حریم خصوصی کامل (هیچی به سرور کسی نمیره)، بدون هزینهی اشتراک ماهانه، و کار میکنه حتی بدون اینترنت. برای کارای حساس یا تکراری، جایگزین بهصرفهای برای APIهای گرونه!
نکته: Ollama ابزار خوبیه برای شروع، ولی خودش دیتا نمیفرسته — فقط مدلهایی که دانلود میکنی از رجیستریش میان، پس برای محیط کاملاً آفلاین باید فایلهای GGUF رو دستی از Hugging Face بگیری.
Hashtagify!
