텐센트가 100만 토큰 컨텍스트와 7700억개 파라미터를 보유한 오픈웨이트 인공지능(AI) 모델 'Hy4(Hunyuan4)'… — 디일렉(THEELEC)

디일렉(THEELEC)@theelec · 10.8K subscribers Open in TelegramOpen

텐센트가 100만 토큰 컨텍스트와 7700억개 파라미터를 보유한 오픈웨이트 인공지능(AI) 모델 'Hy4(Hunyuan4)' 프리뷰 버전을 최근 공개했다. 실제 추론 과정에서 활성화되는 파라미터는 약 490억개인 MoE(Mixture of Experts) 구조다. 텐센트는 2.8조 파라미터 '키미(Kimi) K3'의 3분의 1 규모로도 엇비슷한 성능을 발휘한다고 주장하고 있다.Hy4는 770B 전체 파라미터를 49B 수준의 활성 파라미터로 운용하는 MoE 구조와 1M 토큰 컨텍스트를 결합했다. 텐센트는 대규모 코드베이스를 분석하고,

via 디일렉(THE ELEC) - 전체기사 https://ift.tt/Y8uDeaE

디일렉(THE ELEC)

텐센트, 신규 AI 'Hy4' 공개…"규모는 키미 K3의 30%, 성능은 동급" - 디일렉(THE ELEC)

텐센트가 100만 토큰 컨텍스트와 7700억개 파라미터를 보유한 오픈웨이트 인공지능(AI) 모델 'Hy4(Hunyuan4)' 프리뷰 버전을 최근 공개했다. 실제