第一财经

上海交大推出世界叙事模型,沪上影视工业锚定技术话语权

该文章尚未提供 Español 解读,以下为中文版内容。

核心内容总结

上海交大张文军院士团队推出的“世界叙事模型(WNM)”,针对当前AI视频生成中“抽卡式”低效创作困境(专业创作者平均20-50次才能生成一个合格镜头),通过“控制器+绘图器”的架构,把AI视频生成从“黑盒概率采样”变成“可精确控制的物理参数规划+渲染”,大幅提升创作效率(单镜头编辑轮次降至3次内,满意率超80%)。该模型目前落地上海AI微短剧中试基地,试图重构影视生产底层范式,目标是让上海从微短剧流量消费地升级为技术输出和标准制定地。

一、AI视频生成的“抽卡”痛点:导演像赌徒,反复碰运气

现在专业创作者用AI做视频,就像玩抽卡游戏——输入一段文字描述(比如“主角在雨中奔跑,镜头从侧面跟拍”),等几十秒生成视频,发现画面不对(比如雨太大看不清脸,镜头晃得头晕),就得改文字再生成,反复几十次才能勉强达标。上海交大调研显示:普通镜头要20-50次,精品镜头成功率不足50%。

为啥这么低效?因为现有AI视频模型是“黑盒”:输入文字直接出画面,中间怎么生成的没人知道,也没法干预。比如导演想要“灯光从左前方打过来”,模型可能随机给个右后方的光,你只能重新生成碰运气,这就是“抽卡”的本质——靠概率赌结果。

二、WNM的核心创新:给AI装个“专业方向盘”

WNM把AI视频生成拆成两个部分:

1. 控制器(世界叙事模型本身):负责“懂物理、做规划”。它把导演的想法(剧本、分镜)转化成结构化的物理参数——比如场景是3D的还是2D的?人物动作是走还是跑?镜头是推还是拉?灯光色温多少?这些参数就像电影拍摄的“脚本说明书”,精确到每一个细节。

2. 绘图器(现有视频模型):负责“按参数画画”。拿到控制器给的参数,直接渲染出画面,不用再猜导演想要啥。

举个例子:导演想调整人物的手势,以前得改文字重新生成,现在直接在控制器里拖动手势参数,绘图器立刻就能输出新画面——相当于给AI装了个方向盘,导演能精准控制每一个细节,不用再抽卡。

三、WNM和其他模型的区别:不是“玩游戏”,是“做专业生产”

  • 和Google Genie(世界模型)比:Genie是游戏化的,用户能在模型生成的虚拟世界里玩,但只能在固定场景里探索;WNM是专业生产用的,所有物理参数都能独立调整(比如场景大小、人物动作),完全适配影视制作需求。
  • 和Kling、Veo等端到端模型比:这些模型是“输入文字→输出画面”的黑盒,中间没法改;WNM是“先规划参数→再渲染画面”,每一步都可控。

简单说:Genie是“玩具”,端到端模型是“盲盒”,WNM是“专业工具”。

四、WNM面临的两大挑战:数据少、长视频容易“跑偏”

1. 数据瓶颈:训练控制器需要带精确物理标注的3D数据(比如一个杯子的尺寸、材质、运动轨迹),这种数据比普通互联网视频少好几个数量级。团队的解决办法是:建自动化标注流水线,让AI自己标注部分数据,减少人工成本。

2. 长时序一致性:生成5分钟以上的视频时,容易出现“角色突然变样”“场景布局乱了”的问题。WNM的解决办法是:用控制器维护跨帧的物理状态(比如人物的位置、动作连贯),不是逐帧猜画面,而是按物理规律演化,确保视频从头到尾一致。

五、落地与商业化:上海中试基地当“试验场”,多种模式赚钱

  • 政策支持:上海发布《AI微短剧沪8条》,在徐汇等区建中试基地,给自主研发项目最高1000万补贴。WNM是基地的技术牵头方,算力由九章云极提供,目标是嵌入短剧和影视生产流程,缩短制作周期。
  • 商业化模式
  • 中小团队:SaaS订阅(按月付钱用平台);
  • 大影视公司:私有化部署(把模型装到公司自己服务器);
  • 开发者:API按调用收费(用一次付一次钱)。
  • 行业意义:现在AI视频模型都在拼画质,但WNM认为“可控性”才是核心——谁能让创作者真正把AI嵌入日常工作流,谁就能赢。团队希望WNM能定义下一代影视工业的技术标准,让上海从微短剧“看片的地方”变成“造技术的地方”。

总结

WNM的出现,是AI视频生成从“能生成”到“能控制”的关键一步。它不是对现有工具的补充,而是底层范式的重构——就像大语言模型从“猜文字”到“懂语义”的突破一样,视频生成的未来也会是“先理解物理世界,再生成画面”。接下来就看它在中试基地的实际应用效果,能不能真正解决影视行业的痛点了。