Moonshot AI Releases Full Model Weights for the Massive 2.8T Parameter Kimi K3
Moonshot AI has officially released the full model weights and a detailed technical report for Kimi K3, an immense 2.8-trillion parameter Mixture-of-Experts (MoE) model. Activating 104 billion parameters during inference, the model features native vision capabilities and a massive 1-million-token context window. Through cutting-edge architectural innovations such as Kimi Delta Attention, Attention Residuals, and highly optimized MoE routing utilizing 896 specialized experts, Kimi K3 successfully delivers approximately 2.5 times better intelligence per compute unit compared to its predecessor.
ሙንሾት ኤአይ 2.8 ትሪሊዮን መለኪያዎች ያለውን እጅግ ግዙፍ "ኪሚ ኬ3" የተሰኘ ሞዴል ሙሉ የውስጥ አሰራሩን እና ቴክኒካዊ ሪፖርቱን ለህዝብ ክፍት አድርጓል። ስራዎችን በሚያከናውንበት ጊዜ 104 ቢሊዮን ፓራሜትሮችን የሚጠቀመው ይህ ሞዴል፣ ምስልን የመረዳት አቅም እና 1 ሚሊዮን ቶከን መረጃን በአንድ ጊዜ የማንበብ አቅም አለው። ሞዴሉ እንደ "Kimi Delta Attention" እና 896 ልዩ ባለሙያዎችን በማሳተፍ የተሰራውን የ"MoE"አርክቴክቸር በመጠቀሙ፣ ከቀድሞው ስሪት በ2.5 እጥፍ የተሻለ የአቅም እና የኃይል ቅልጥፍናን አሳይቷል።
July 27, 2026 218
