مدل K2-Horizon-MoVA؛ مدل 36 میلیاردی با فقط 4B پارامتر فعال مدل… — VIRSUN

VIRSUN@rss_ai_ir · 10.7K subscribers Open in TelegramOpen

🚀🧠مدل K2-Horizon-MoVA؛ مدل 36 میلیاردی با فقط 4B پارامتر فعال

مدل متن‌باز K2-Horizon-MoVA-36B-A4B با معماری MoE معرفی شده؛ در مجموع 36B پارامتر دارد، اما برای هر توکن فقط حدود 4B پارامتر فعال می‌شوند تا هزینه محاسباتی پایین‌تر بماند.

ویژگی متفاوت آن Mixture-of-Values (MoVA) است؛ رویکردی در Attention که به‌جای یک مسیر Value، از ترکیبی از Valueها استفاده می‌کند تا با هزینه مشابه، ظرفیت بیان مدل افزایش پیدا کند.

مدل برای Agentic Tasks، Coding و Reasoning هدف‌گذاری شده و Context بسیار بزرگ 512K دارد؛ مناسب Workflowهای طولانی، اسناد بزرگ و زنجیره‌های متعدد Tool Call.

🔓 مجوز Apache 2.0 هم استفاده تجاری را ساده‌تر می‌کند. نسخه بزرگ‌تر این خانواده با 375B پارامتر کل / 23B فعال نیز ارائه شده است.

🔥 ایده اصلی: ظرفیت یک مدل بزرگ، بدون فعال‌کردن تمام پارامترها در هر Token.

https://huggingface.co/IFM/K2-Horizon-375B-A23B

https://huggingface.co/models?other=base_model:quantized:IFM/K2-Horizon-MoVA-36B-A4B

@rss_ai_ir
❤️ حمایت از کانال:
https://daramet.com/Virsun

#K2Horizon #MoVA #MoE #OpenSource #LLM #Coding #AIAgent #Reasoning #هوش_مصنوعی

t.me/rss_ai_ir/5349 Translate