实时、可交互的世界模型。生成过程中随时输入文字或按下键盘,场景、人物和事件立刻跟着变化,同时输出 RGB 视频、深度视频和动作。
每段视频左下角是生成过程中输入的指令。世界在原有基础上继续演化,人物和场景保持一致。
角色听懂问题并作答,画面与声音同时生成。
海底、雪原、未来城市、草原,车厢和乘客始终不变。
人物穿过门,进入一个全新的场景。
人物保持一致,只改变指定的部分。
用 WASD 在生成的世界里移动。同一段画面还能输出深度视频,并恢复相机轨迹、重建三维场景。
键盘控制行走,世界随视角实时生成。
输出画面的同时得到逐帧深度。
从生成的画面恢复相机轨迹,得到三维场景。
小模型用于具身智能和单卡运行,大模型用于高质量场景。
同一个模型,服务三类场景。
和活在自己世界里的角色实时视频互动:虚拟宠物、虚拟角色,以及经授权的亲人数字形象。
用文字实时生成和修改镜头,一句话生成可操控场景,从生成的世界中得到三维资产。
通过世界动作模型在行动前预测后果并输出动作,驱动机械臂等机器人。