🗣️🕺مدل Motion-Omni؛ یک مدل برای تولید همزمان صدا و حرکت بدن
مدل Motion-Omni بهجای اجرای جداگانه TTS و سیستم تولید Animation، گفتار و حرکات بدن را مستقیماً از latent stateهای مشترک تولید میکند.
مزیت اصلی این معماری، هماهنگی طبیعیتر بین آنچه شخصیت میگوید و نحوه حرکتکردنش است؛ Sync بخشی از خود مدل است، نه مرحلهای که بعداً به خروجی اضافه شود.
طبق اعلام سازندگان، Motion-Omni تا 5.4 برابر سریعتر از Pipelineهای آبشاری عمل میکند، چون لازم نیست چند مدل یکی پس از دیگری اجرا شوند.
🔥 کاربرد واضح: آواتارهای مکالمهای، NPCهای هوشمند و شخصیتهای مجازی که باید همزمان حرف بزنند، Gesture داشته باشند و بلادرنگ واکنش نشان دهند.
https://step-out.github.io/Motion-Omni-Page/
https://github.com/step-out/Motion-Omni
@rss_ai_ir
❤️ حمایت از کانال:
https://daramet.com/Virsun
#MotionOmni #TTS #Animation #Avatar #VirtualHuman #MultimodalAI #EmbodiedAI #هوش_مصنوعی
35
13
1
1
1September 8, 2026 156 3