مدل های Orbis و H3-World؛ ویدئوهایی که حین اجرا تغییر می‌کنند اینکه… — VIRSUN

VIRSUN@rss_ai_ir · 10.9K subscribers Open in TelegramOpen

🎮🔥 مدل های Orbis و H3-World؛ ویدئوهایی که حین اجرا تغییر می‌کنند

اینکه Orbis یک سیستم تولید ویدئوی تعاملی پیوسته است؛ از متن یا تصویر شروع می‌کند و می‌توان در حین اجرا با فرمان‌های جدید، داستان را بدون قطع جریان تغییر داد. حافظه چندلایه هم کاراکترها، محیط و سبک را در Sessionهای طولانی حفظ می‌کند. ادامه ویدئو و صدای همگام هم پشتیبانی می‌شود.

طبق معرفی سازندگان، خروجی تا 18fps در 832×480 تولید می‌شود و امکان Upscale تا 4K وجود دارد.

در پروژه H3-World هم مدل MiniMax H3 با کمک LoRA یاد گرفته به کلیدهای حرکت و دوربین واکنش نشان دهد. فرمان‌های کاربر به Instruction متنی برای لحظه‌های مختلف ویدئو تبدیل می‌شوند و Action Module جداگانه‌ای لازم نیست.

فعلاً H3-World هنوز Real-time واقعی نیست و بر اساس دنباله‌ای از کلیدها ویدئو را تولید می‌کند، اما مسیر جالبی به سمت Interactive World Models نشان می‌دهد.
http://visko.ai/models#orbis

http://github.com/Danzer1xxxxChan/H3-World

http://huggingface.co/DANNY621/H3-World

https://danzer1xxxxchan.github.io/H3-World/

@rss_ai_ir
❤️ حمایت از کانال:
https://daramet.com/Virsun

#Orbis #MiniMaxH3 #H3World #WorldModel #InteractiveVideo #LoRA #GenerativeAI #هوش_مصنوعی

t.me/rss_ai_ir/5234 Translate