ARTICLE / DEEP READING

热点资讯

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

给世界模型装上「生成式显卡」!Code World Model 2.0实现30分钟一镜到底文章配图
READ
IN DEPTH

FEATURED ARTICLE

给世界模型装上「生成式显卡」!Code World Model 2.0实现30分钟一镜到底

编辑|山辉 创造一个世界不难,难的是让这个世界「听话」。 不久前,Google DeepMind 发布了 Genie 4,展示了交互式世界模型的最新进展。用户可以通过键盘或鼠标控制角色探索世界,还能通过提示词改变环境,不少人看了直呼「游戏引擎已死」。 但真上手用了才知道,实际体验和预期还有一定的差距。 「听话」,意味着至少需要具备两种能力: 一是控制精度,用户发出的操作指令能够得到准确响应;二是时序一致性,世界在持续变化的同时,仍然能够保持物体的身份、外观和状态稳定。 简单来说,就是该变的变,不该变的不变。 当 AI 已经能够生成一个可探索的世界,如何既实现精准控制,又让这个世界在持续交互中保持稳定,成为世界模型面临的一项重要挑战。 近日, 蚂蚁集团,西湖大学和浙江大学联合发布 Code World Model 2.0(CWM 2.0) 。其核心视觉引擎 Invoker-Render 能够接收结构化 Proxy,将场景布局、物体运动和镜头变化转化为连续的高保真画面。 GitHub:https://github.com/inclusionAI/CodeWorldModel hf地址:https://huggingface.co/inclusionAI/invoker-render-1.0 主页地址:https://www.inclusion-ai.org/CodeWorldModel/ 团队的一段赛车演示,充分展现了这种控制方式的优势。 输入端是低模赛车 Proxy,右下角还展示了真实的手柄操作。随着测试者拨动摇杆,Proxy 中的车辆改变方向,主画面中的白色赛车也随之同步转向。 视频链接:https://mp.weixin.qq.com/s/-H0Eibwe-kvqjC3I00i2hA 更重要的是,团队还展示了一段 30 分钟的赛车演示,没有任何中途切镜或重置,展现了模型在长时间连续生成中保持画面稳定性和主体一致性的能力。 几根简单的线框究竟如何驱动一个逼真的世界?又如何让这个世界在连续半小时的生成中,始终保持物体外观和场景结构的一致性? CWM 2.0 给出的答案是 Invoker-Render 。 这套生成式渲染引擎既能理解从简单几何到精细骨架等不同粒度的 Proxy,实现对场景、物体和镜头的精准控制,也通过 ProForcing 训练方法提升长时流式生成的稳定性。 代码控制世界,生成模型负责画面 目前,一类主流的交互式世界模型采用端到端生成路线:用户输入操作,模型直接预测并生成后续画面,无需单独搭建复杂的世界程序。 但随着交互越来越复杂,模型需要同时承担两类任务:既要像物理引擎一样维护物体状态、运动轨迹和交互规则,又要像图形渲染器一样合成逼真的材质、纹理和光照。这种设计增加了精准控制和修改世界规则的难度。 另一种思路,是 将世界状态管理与视觉生成分开 。 在这种架构中,代码负责定义物体、运动规则和摄影机路径,并将这些信息转换为结构化 Proxy,交给生成模型完成视觉呈现。代码提供明确、可修改的控制条件,生成模型则负责补充材质、光影和局部细节,实现世界状态与视觉表现的分工。 早在 CWM 1.0 中,团队就尝试将世界状态管理交给代码,将视觉呈现交给生成模型。CWM 2.0 则在此基础上,进一步完善了生成式渲染环节。 在 MiniMax-H3 基座上,团队构建了两种互补的 Invoker-Render 模型,共享结构 Proxy、外观参考图和文本条件这一套输入接口。 一种是双向创作模型 ,能够读取完整的 Proxy 序列,利用前后文信息生成画面,适合离线视频创作和复杂运镜调整。比如,创作者可以预先规划一段完整的镜头运动,再让模型根据结构条件生成对应画面。 另一种是因果四步流式模型 ,它无法提前看到尚未发生的操作,只能逐块接收新的 Proxy,结合此前生成的画面,持续生成后续内容。这种方式更适合实时交互。 但要让这套分工真正发挥作用,下游渲染器还需要解决两个问题:理解不同精度的结构输入,并在连续生成中保持画面稳定。 从几根线框到精细骨架,如何让世界模型实现精确控制? Proxy 是连接上游世界程序与下游生成模型的关键。它可以记录场景布局、物体位置、朝向、运动轨迹和摄影机变化,但不需要完整包含最终画面的材质、纹理和光照信息。 问题在于,不同交互场景需要的结构信息并不相同。 比如,在一个赛车场景中,如果只需要控制车辆沿着道路行驶,几个简单的三维框就可以描述汽车的位置和朝向。这样的 Proxy 构建成本低、传输也更加轻量。 但如果场景换成人物格斗,仅仅知道人物整体移动到哪里就不够了。模型还需要知道手臂、腿部和身体各个关节如何运动,才能准确还原出对应的动作。 如何让同一个模型同时理解粗略结构和精细约束? Invoker-Render

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

中国航天人才流动,又收紧了?

中国航天人才流动,又收紧了?

近期收到不少朋友讨论,关于航天人才流动的问题,这也是当下行业的严重关切。 10月,《关于发展新质生产力的意见》发布,其中的“深化人才工作机制创新”部分明确表示:“加快破除各种隐性壁垒,畅通高等学校、科研院所、企业人才交流通道。” 而多家商业航天企业反映的现实问题是:行业核心岗位难招人;而另一边是,院所内人才难离职;甚至已经离开院所多年的人,在职业发展上还会受到曾经体制内工作经历的影响。 人才流动,

邹阳新赛季攻防集锦混剪,场均贡献4.2抢断1.2盖帽

邹阳新赛季攻防集锦混剪,场均贡献4.2抢断1.2盖帽

不适合郭士强的国家队,第一,邹阳很多都是快攻反击得分。这个和郭士强讲究战术纪律,打慢磨阵地战上线绕8字跑战术的打法不符。第二,邹阳很多时候反击都是自己运球过半场,这个违反了郭士强要求拿到球第一时间找后卫的打法。所以,邹阳现在也就是数据看着漂亮,进郭士强的国家队,会表现得很差 不适合郭士强的国家队,第一,邹阳很多都是快攻反击得分。这个和郭士强讲究战术纪律,打慢磨阵地战上线绕8字跑战术的打法不符。第二

62356人观战!无锡2-1夺得苏超冠军:17战仅1负 常州未能一黑到底

62356人观战!无锡2-1夺得苏超冠军:17战仅1负 常州未能一黑到底

10月31日晚间,第二届苏超联赛决赛打响,无锡队对阵常州队。本场比赛,一共有62356人到场观战。上下半场,无锡队各进一球。常州队最后时刻打进一球。最终,无锡队2-1夺冠。 常规赛阶段,无锡队7胜4平1负,高居榜首。淘汰赛中,无锡队连赢4场,淘汰了徐州队和泰州队,顺利进入决赛。常州队上赛季战绩不佳,排名倒数第2,但他们这个赛季强势逆袭,一路打进决赛。 第28分钟,无锡队在前场打出配合,卢则灵在大禁

凌晨5点!CCTV5直播男篮冲击世预赛3连胜,12人大名单迎巨变,赢球=升至小组第二

凌晨5点!CCTV5直播男篮冲击世预赛3连胜,12人大名单迎巨变,赢球=升至小组第二

近日,根据相关消息透露,中国男篮最新一期的大名单已经选好了,差不多会在后面几天时间里正式官宣出来。其他的不敢确定,唯一敢确定的是,11月份这份男篮的最新大名单,相较于9月份打亚运会的时候,肯定是会有非常大变化和变动,如果是9月份那套阵容去打11月份的两场世预赛的话,风险实在是太大了,因为阵容里很多球员都达不到国家队的要求,也代表不了国家队最强的实力,碰到强敌的话很难有招架之力。 这一次对于郭士强来

现役C罗国家队纪录差距21球的梅西已退役,谁还能追上?

现役C罗国家队纪录差距21球的梅西已退役,谁还能追上?

没有转身的余地。2026年11月5日,41岁的C罗宣布结束23年的葡萄牙国家队生涯,留下的最后数字是234场146球——男足国家队出场与进球的双料世界纪录。 而在加时赛真正开始后,这组数据附近根本没有人:最接近的追赶者梅西,已于8月31日带着125球正式退出阿根廷队,差距定格在21球;现役国家队射手榜第三名的球员总进球不足110球,年龄超过33岁。 结论先放在这里:未来二十年,没有任何现役球员能接