生数科技张金涛：实时生成视频的想象空间有多大

实时生成视频技术路线为什么是一门好生意？ 文丨申远 “选择的方向比努力重要得多。” 在采访里，类似这样笃定的句子张金涛说了很多，对他而言，实时生成视频是一个毋庸置疑的好方向。 大多数人熟悉的视频生成，仍然是输入一段描述，等待模型交付一段视频。实时视频想做的事情有所不同：画面持续生成，用户可以随时开口、输入指令，改变接下来发生的内容，张金涛把这种体验称为 “使用即消费”，意味着每个人拥有属于自己的独立会话，在张金涛看来，人一天里除了看电影、刷短视频，其余时间其实都在进行某种实时的视觉交互，因此这个市场 “最终是能完全超越语言模型”。 作为清华大学计算机系朱军教授的 00 后博士生，张金涛是注意力加速算子 SageAttention 和视频生成加速框架 TurboDiffusion 的作者，目前在生数科技负责 S 系列实时生成视频模型的研发和所有模型的推理工作。 在实时生成视频模型 S1 发布两个月后，生数推出了升级版的 S2。这次升级包含两个模型：S2-Avatar 可以让数字角色更清晰、更能跟随指令，也支持在交互过程中加入新的参考图；S2-Editing 则可以实时修改输入的视频流，换衣服、换角色、换背景，或者改变画面风格。在 S2 的技术报告里，生数团队还在探索通过 VR 眼镜观看实时空间视频。 张金涛对这个方向很有信心。不仅因为海量需求，还因为成本可控。视频模型的参数规模只有主流大语言模型的几十分之一甚至更小，推理所需的算力相应低得多，而推理，恰恰是张金涛的老本行。 当然，他也不回避眼下的问题，最难的还是竞争。大厂在离线视频模型上已经很强，生数在实时生成视频上的领先身位不是一条不可撼动的竞争护城河。张金涛自己也说，一家数据和训练基础扎实的公司只要 “好好去做”，几个月就能追到不错的水平，生数眼下的优势，很大程度上源于对技术的前瞻性理解，但商业竞争仅仅靠前瞻性还不够。 在这期播客里，我们和张金涛聊了有关实时生成视频的技术进展、商业模式和产品形态，也聊了一个 00 后研究者，如何从一个人埋头写算子，走到带领一支三四十人的团队。 以下是经过编辑整理的对话： 实时视频是使用即消费 晚点：S1 发布才两个月，S2 就来了。新模型有哪些提升？ 张金涛 ：先简单回顾一下 S1。它主要是一个数字人模型，用户上传一张图片，图片里的角色可以是真人、动漫人物，也可以是宠物，再选择一种声音，就可以跟它聊天，让它做一些动作。 S2 包含两个模型。第一个是 S2-Avatar，还是数字人，但真人感更强，指令跟随也更好，包括跳舞这样的大幅度动作。画质提升到了 720P，仍然能保持每秒 25—40 帧的实时生成速度。 我们还引入了一套基于视觉语言模型的 Agent 系统，根据用户的意图和已经生成的视频，规划下一步动作。它支持实时参考生成：你可以在交互的任何一个时刻，输入一张参考图和一条指令。比如给它一张杯子的图片，让它从屏幕下方拿起来，用你指定的姿势展示。 另外一个模型是 S2-Editing，它可以实时地把一段视频流编辑成另一段视频流。比如打开摄像头，给画面里的自己换一套衣服，同时保留动作和背景；也可以把正在玩的游戏，变成二次元或者赛博朋克风格。换背景、换角色，也都可以做。 晚点：实时编辑是生数第一次推出的能力。它和在生成过程中随时输入新的 Prompt，有什么区别？ 张金涛 ：更准确地说，Avatar 和 Editing 都可以在生成过程中接收反馈。你想让人物坐下、去屏幕外拿一个东西、跳舞，这些指令都可以实时地给。这是一个基础能力。 Editing 最主要的功能，是对输入的视频流做实时编辑。这个视频流可以来自摄像头，也可以是游戏或者直播。比如给主播换衣服，甚至换成另一个角色，原来的口型和动作仍然可以对应上。 晚点：在你的设想里，它会以插件的形式出现？ 张金涛 ：可能会作为很多应用的插件。比如你在 Steam 上有 100 个游戏，每个游戏都可以换很多种画面风格，那体验就会丰富很多。 我们还做了一些实时空间视频的探索。Avatar 和 Editing 都有空间视频的版本，可以通过 VR 眼镜观看，也可以实时交互。 晚点：很多人觉得，实时生成的视频模型，跟我们已经熟悉的视频生成模型，是两种东西。你也这么看吗？ 张金涛 ：我觉得是的。模型上可能有相似之处，但从应用和需求上看，它们很不一样。 目前主流的视频生成，可以理解为离线视频生成：上传一段 Prompt，等一段时间，拿到一个十秒或者十五秒的视频。它主要面向创作者，普通人很少直接使用这些模型。 实时视频的输入和输出都是持续发生的。你希望下一秒发生什么动作、出现什么内容，可以在过程中去控制。它就不只是一个创作工具了，而是 “使用即消费”，每个用户都直接在使用这个模型。 晚点：今年初决定投入这个方向，是基于什