过去大模型主要用于生成一段预先设定好的视频用户输入提示词等待模型完成计算再获得最终结果。虽然这一模式推动了 AI 视频创作的发展但模型始终停留在生成内容层面无法像人与人交流一样在生成过程中持续理解用户、实时响应新的输入。ViduS1ViduS1 让 AI 视频从离线生成迈向实时交互。作为全球领先的实时交互模型Vidu S1 面向实时对话、AI情感陪伴、虚拟IP角色、互动游戏等场景实现视频在生成过程中持续接收语音、理解指令并实时生成新的画面反馈让 AI 从播放视频升级为实时互动。这套实时交互能力在消费级显卡中即可运行。【 立即体验S1 】【 接入企业API 】【技术报告】实时交互并不仅意味着更低的延迟而是要求模型能够持续理解用户输入并在每一帧画面中实时做出响应。为了实现这一目标Vidu S1 构建了一套面向实时视频生成的新技术通过高质量数据、模型架构、训练算法、极致推理加速和部署深度协同使模型能够持续生成视频、持续保持角色一致性并在交互过程中不断响应新的语音和指令。基于这一技术体系Vidu S1 实现了四项核心能力语音指令 实时跟随从「语音驱动口型」迈向「语音驱动行为」让角色听得懂、动得准、反馈更自然实时生成 无限时长全球领先的无限时长实时互动视频大模型540P 25 FPS实时交互支持 540P 25 FPS 的高分辨率实时视频互动生成 最高支持42 FPS自定义角色图像音色上传支持自定义初始图像真人、动漫、萌宠与音色提供定制化体验这意味着视频大模型从一次性的内容生成工具演进为能够长期在线、持续交互的新一代实时视频生成系统。1.语音指令实时跟随从“语音驱动口型”到“语音控制行为”传统数字人大多采用语音驱动口型方案。模型能够让嘴型与声音保持同步但人物的表情、动作和手势通常依赖预设动作库交互方式相对固定难以根据用户实时输入产生自然反馈。Vidu S1 则进一步实现了语音控制角色行为。系统能够结合用户当前输入的语音内容、情绪以及画面状态在角色说话的同时实时生成对应的口型、表情、手势和身体姿态而非调用固定动作模板。整个交互过程从过去的语音输入 → 口型同步升级为语音输入 → 行为理解 → 实时生成表情、动作与反馈数字人因此从会说话的虚拟形象升级为能够被语音实时控制的生成式角色。2.实时生成 无限时长自回归视频生成让视频走向可实时改变传统视频生成模型通常一次生成一段固定长度的视频。用户输入条件后模型生成完整片段视频内容基本已经确定。生成过程中如果用户再发出新的语音指令模型很难实时改变后续画面只能重新生成一段视频只能作为“离线视频创作工具”。Vidu S1采用自回归视频生成路线不是一次性生成完整视频而是基于已经生成的历史画面持续预测视频的下一帧。历史画面状态 当前语音 / 指令 / 对话上下文↓自回归生成下一帧↓更新角色状态缓存↓继续生成下一帧这种机制带来的核心优势是视频生成过程中可以实时接收新的用户语音信息并用新的语音指令决定后续视频走向。也就是说视频不是预先生成好的固定内容而是在交互过程中持续生成、持续响应、持续演化。传统视频生成输入条件 → 生成一段固定视频 → 播放结束我们的自回归视频生成历史画面 → 接收实时语音 → 生成下一帧 → 持续改变后续视频走向为了保证长时间生成的稳定性生成过程中同时维护两类上下文长期身份 anchor保持人物长相、服饰、风格一致短期滑动窗口保持最近表情、动作、姿态连续长期身份 anchor 负责防止角色偏离预定义形象短期滑动窗口负责保证相邻帧之间动作自然衔接。通过这种方式数字人既能长时间稳定在线也能在生成过程中实时响应用户语音实现真正的交互式视频生成。3.540P 25 FPS 实时交互从“离线生成”到“视频通话级输出”传统视频生成模型主要面向离线内容创作。用户输入提示词后模型经过一段时间计算再输出一个完整视频。这种方式局限于短视频生成无法服务于视频通话、直播互动、实时陪伴等场景因为这些场景要求模型能够持续输出、快速响应、帧率稳定。Vidu S1则面向实时交互重新设计目标是在540P(960x540) 分辨率、25FPS最高支持42FPS 帧率下让视频模型像视频通话和游戏一样持续生成和响应。这一能力不是简单地“把模型跑快”而是从两个层面同时优化模型侧降低单帧生成成本让每一帧更快生成系统侧优化流式服务调度让视频流稳定输出在模型侧使用生数科技的 TurboDiffusion、SageAttention、SLA、SpargeAttention 等视频生成加速路线[1-4]通过少步生成、注意力计算优化、模型量化和推理内核优化降低每一帧视频生成所需的计算量在消费级显卡上就可以实现 540P 分辨率、25FPS最高支持42 FPS实时生成。在系统侧使用生数科技的 TurboServe [5] 流式视频生成 Serving 方案 利用针对流式视频生成的先进大规模集群部署技术动态分配计算资源保证视频可以连续输出、延迟稳定。可以概括为传统离线视频生成提交请求 → 等待完整视频生成 → 播放结果我们的实时交互式数字人生成实时语音输入 → 逐帧生成 → 持续播放 → 持续响应为了降低感知延迟系统采用流式流水线执行在播放当前画面的同时模型已经在计算后续画面在用户输入新语音指令后系统可以快速将新指令注入后续帧生成中使视频生成内容实时变化。更直观地说540P 25FPS (最高支持42FPS) 的意义不只是画质和帧率指标而是让实时视频生成模型具备进入视频通话、直播、实时陪伴、互动游戏和 XR 场景的关键基础。它要求模型、推理引擎和服务系统共同工作持续保证低延迟、稳定帧率和长时间在线。4.支持任意图片任意音色即时创建角色告别逐角色训练传统数字人通常需要上传多张图片或视频素材再经过建模、绑定、口型适配或角色训练制作周期从几分钟到一天不等。Vidu S1 采用纯生成式路线彻底取消了离线建模与角色训练环节用户只需上传一张首帧图模型即可即时理解角色的身份、外观与风格无需任何预处理或等待随即在交互中实时生成该角色的表情、口型、动作与姿态。同时Vidu S1支持自定义音色使数字人在视觉形象和声音身份上保持一致。这让数字人创建从“上传素材后等待训练”变成“上传首帧后直接交互”大幅降低了个性化数字人的使用门槛。数字人的创建方式因此从上传素材 → 等待训练 → 开始使用升级为上传首帧 → 即时交互显著降低了个性化数字人的创建门槛。多项全球领先技术协同支撑实时交互能力实时交互视频模型的实现并非依赖单一技术突破而是模型架构、训练算法、推理优化与系统部署的全面协同。在模型推理层Vidu S1 融合生数科技的TurboDiffusion[1]、SageAttention[2]、SLA[3]、SpargeAttention[4] 等视频生成加速技术路线大幅降低视频生成所需计算量。在系统部署层Vidu S1 使用生数科技的TurboServe[5] 大规模集群部署方案动态调度计算资源使视频能够持续输出、稳定响应有效降低实时交互过程中的感知延迟。模型侧与系统侧的深度融合共同构成了 Vidu S1 实时交互能力的技术基础。Vidu S1 已完全开放用户可自定义初始图像并进行实时互动体验还开放了 API 平台线上体验已全面开放线上体验地址https://www.vidu.cn/vidu-streamAPI开放平台https://platform.vidu.cn/APP体验方式在应用商店搜索「Vidu Ai Pro」下载后进入 Vidu S1即可体验[1] TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times.[2] Sageattention: Accurate 8-bit attention for plug-and-play inference acceleration.[3] Sla: Beyond sparsity in diffusion transformers via fine-tunable sparse-linear attention.[4] Spargeattention: Accurate and training-free sparse attention accelerating any model inference.[5] TurboServe: Serving Streaming Video Generation Efficiently and Economically.标题欢迎加入生数科技与顶级科学家、技术大牛同行一起共同探索 AGI 新纪元