简介在视频后期制作中背景替换一直是耗时耗力的环节。传统绿幕与手动抠像难以应对复杂边缘与动态场景而AI视频编辑技术通过智能分割与生成式重绘为视频背景替换提供了全新思路。其核心原理基于语义分割模型如SAM2将前景主体与背景分离再借助图像生成模型对背景进行重绘或直接合成最终实现无需绿幕的视频换景。这种技术不仅适用于电商产品视频、口播内容背景清理还能用于短视频创意二改大幅提升后期效率。本文以ComfyUI为工具详细拆解视频背景替换的工作流搭建涵盖环境配置、节点串联、参数调优与踩坑排查帮助读者快速上手AI视频处理。围绕VideoRefusion范式通过拆帧、分割、重绘、合成四步即可完成高质量的视频背景替换。 前阵子接了个活儿对方发来一段产品演示视频要求把背后乱糟糟的办公环境换成干净的品牌调性背景人物动作、光影、产品色彩都不能动。这种需求放几年前要么搭绿幕重拍要么在后处理软件里逐帧抠像光是对齐边缘、处理发丝就得耗掉大半天。最后我把整条流程搬进了 ComfyUI用一套视频背景替换的工作流来完成这套思路现在常被叫作 VideoRefusion。它不是某一个开箱即用的按钮而是一种处理范式先从视频帧里把前景主体完整地分割出来再用 AI 对背景区域做重绘最后把原视频的前景像素和新背景合成输出。整个过程不需要绿幕不需要手工逐帧抠像只需要你把 ComfyUI 的节点按正确顺序搭起来并且愿意在几个关键参数上花时间调试。适合谁来参考如果你正在做电商产品视频、口播内容背景清理、短视频创意二改或者只是对“用 AI 操作视频”这件事感兴趣这篇文章应该能帮你少走不少弯路。我会把从环境搭建到节点串联、从参数调试到踩坑排查的完整经验都写出来尽量让一个刚接触 ComfyUI 的小白也能照着操作到出片。1. 视频换背景这件事为什么我最后选了 ComfyUI 这条路线1.1 传统方案让人抓狂的地方先说绿幕。绿幕拍摄在影视行业是标准流程但它有一个前提你得在拍摄阶段就搭好绿幕、布好光。对一个做电商短视频的个人或小团队来说很多时候素材是现成的产品视频已经拍完了根本没机会补拍。就算能补拍绿幕上的反光、人物边缘的绿色溢出、发丝的处理每一样都够后期喝一壶。我见过太多刚开始接触视频处理的人以为有绿幕就万事大吉结果导出来之后头发边缘全是绿边只能一遍遍手擦。其次是手动抠像。在剪辑软件或图像工具里逐帧画蒙版熟练工处理 5 秒钟 30 帧的视频耗上半小时到一小时是很正常的事情。如果主体动作幅度大、边缘细节多比如手指、头发、衣服褶皱时间直接翻倍。短视频时代节奏太快这种“人力密集型”的活儿根本不划算。还有一种更取巧的做法用单帧抠图模型逐帧跑。比如直接用 RMBG、U2Net 这类通用抠图模型把视频逐帧抠成透明 PNG 再叠到新背景上。听上去可行但实际效果很惨——因为这些模型独立处理每一帧没有“前后帧一致性”的概念主体稍微一动边缘蒙版就跟着抖最终成片看起来像边缘在“呼吸”专业说法叫蒙版闪烁。这种问题修起来反而比手动抠像更头疼。1.2 VideoRefusion 到底在解决什么问题说穿了传统方案和 AI 时代的方案差的不是“抠图准确率”而是“对视频时间维度的理解”。VideoRefusion 这套思路的核心逻辑是分而治之先把视频拆成帧序列对每一帧做主体分割语义分割/实例分割模型比如 SAM2拿到前景蒙版然后对背景区域做 AI 重绘或者直接把生成好的静态背景图合成到蒙版之外最后按帧合成并输出视频。为什么我不把它理解成一个“工具”而是“思路”因为“动态替换视频背景”这个需求本身就拆成了两个独立问题问题一是“如何稳定地分割出主体”这靠分割模型的推理能力问题二是“如何生成与被替换背景自然融合的内容”这靠图像生成模型的创作能力。这两个问题对应不同模型、不同参数只有用 ComfyUI 这种节点化的工作流工具才能把这么多种模型自由组合、按需替换。你可以在不改变整体流程的前提下把分割模型从 SAM 换成 SAM2把重绘模型从 SD1.5 换成 Flux整个链路依然成立。1.3 它适合哪些场景又有什么局限适合的场景我最常接触的有三类电商产品视频产品动作不变把实景背景换成纯色或品牌场景口播/课程视频把家居背景换成书桌、演播厅或者干脆换成虚化背景短视频创意给人物加一个完全新奇的场景比如把城市街景换成游戏世界。局限也很明显。最突出的一点是如果前景和背景之间有明显的光影交互比如玻璃反射、水面倒影、地面投影这种“先分割后重绘”的思路很容易穿帮。分割模型只会告诉你“这是前景”它不会告诉你“前景投在背景上的影子也是前景的一部分”。这类物理交互细节目前还是需要人工补工作量不大但你不能指望全自动。还有一点如果你追求“完美逐帧的光照一致性”VideoRefusion 这种思路不理想。它更擅长的是“视频内容不变背景换了”这件事本身。2. 环境准备从 ComfyUI 本体到依赖节点的完整装配2.1 ComfyUI 本体的安装整合包还是手动部署环境这块我简单对比一下三种常见方式。第一种官方手动部署。git clone官方仓库装依赖然后启动。优点是最新、最干净跟随官方更新没有负担缺点是对新手不友好比如 Python 环境、显卡驱动、torch 版本不匹配任何一个环节出错都够折腾半天。第二种秋叶一键整合包。这是国内社区流传非常广的方案当年我自己也是从整合包入的门。它最核心的价值是“开箱即用”自带 Python 环境、模型目录骨架、节点管理器和启动器GPU 版本也内置好了。对第一次接触 ComfyUI 的人来说整合包几乎把“环境配置”这个最大的坑帮你填上了。当然也有人说整合包版本滞后这个问题确实存在好在秋叶整合包自带升级功能自定义节点也能自己更新。第三种Docker 部署。适合服务器端跑批量的用户或者对系统环境有洁癖的人。我个人的建议是如果你的本机是 NVIDIA 显卡刚开始就走整合包跑通第一张图、第一段视频之后再去考虑手动部署或 Docker否则很容易在环境层面劝退。说一个我实际踩过的坑下载整合包之后如果启动报错提示缺 DLL 或者 torch 加载失败多半是显卡驱动太老先更新显卡驱动而不是急着重装整合包。关于双卡用户——有些工作流要跑得动一张显卡确实吃力。ComfyUI 支持多卡配置可以在启动参数里指定--cuda-device 0或--cuda-device 1甚至把不同的处理环节拆分到不同卡上执行。不过这是进阶操作建议先把单卡流程跑通。2.2 必备自定义节点装好这些才能谈视频处理进入正题视频背景替换工作流里有几个自定义节点几乎绕不开我把它们的用途和安装方式列一下。节点/插件作用安装要点ComfyUI-VideoHelperSuiteVHS视频加载、拆帧、合并、音频处理需要安装 ffmpeg 依赖新版内置了二进制ComfyUI-SAM2基于 SAM2 的主体分割做蒙版需要下载 SAM2 模型权重ComfyUI-GroundingDINO文本/框提示检测主体配合 SAM2 一起用框住主体再分割ComfyUI-RMBG快速抠图适合简单主体通用抠图复杂边缘效果一般任意支持 inpaint 的重绘模型相关节点背景区域重绘工作流本身不需要额外节点模型放进 checkpoints这些插件装到 ComfyUI 根目录下的custom_nodes文件夹里。整合包一般就装在ComfyUI_windows_portable\ComfyUI\custom_nodes这个位置。安装方式很简单在目录下打开终端执行git clone 仓库地址然后重启 ComfyUI就会在节点列表里看到新节点了。如果你用的是整合包也可以在节点管理器的“安装缺失节点”里一键安装更省事。这里提醒一句每个插件更新频率不同如果一个节点今天还能用、明天启动就报错大概率是插件和 ComfyUI 核心版本不兼容。我遇到这种情况的常规操作是去插件的项目仓库看 issues而不是急着删掉重装。2.3 模型准备把这几样东西先备齐整个流程里需要的模型分三块。第一块分割模型。我用得最多的是 SAM2Segment Anything 2它需要下载 checkpoint 文件一般放在models/sam2目录下配套的 GroundingDINO 权重放在models/grounding-dino目录下。这两个模型配合起来就是“你输入描述或框选主体→DINO 定位→SAM2 精细分割”。第二块背景重绘模型。这里有一个选择问题。如果重绘强度不高、视频场景不复杂用 SD1.5 的 inpainting 模型就足够了速度快、显存占用低如果对背景质量要求很高可以考虑 SDXL 或 Flux 的 inpainting 版本但显存和耗时都会明显上涨。我自己的经验是8GB 显存优先用 SD1.5 系12GB 以上可以尝试 SDXLFlux 系列尽量在 24GB 或双卡环境下跑。第三块可选的辅助模型。比如提示词反推模型BLIP、Florence2可以把原视频的画面描述反推出来做提示词参考。这个在“想把原背景重绘成类似风格”的时候有用但如果你已经有了明确的目标背景描述用不上。一个很容易被忽略的细节模型文件一定要放在 ComfyUI 对应的models目录下并且在节点里选择正确的 checkpoint 名称。很多新手上来就报“模型不存在”其实是因为文件名写错或放错目录。3. 工作流主体逻辑拆解拆帧、分割、重绘、合成四个环节怎么串3.1 先看整体链路再一个个说我搭这套工作流时把整条链路分成了四个阶段用 VHS 加载视频拆成帧序列对每一帧或关键帧做主体分割生成蒙版按蒙版对背景区域做重绘或直接把准备好的背景图合成进去把前景帧与新背景合成最后用 VHS 输出视频。这里面最核心的一个设计决策是前景永远用原视频像素背景才交给 AI 去生成。这样既保住了主体的细节不会出现肢体变形、手部崩坏又把 AI 的创造力限制在背景区域。如果你反过来做“整帧重绘”确实也能换背景但主体会跟着被重绘动作细节大概率会走样遇到手部、文字这种高频细节更是灾难。另外一个设计决策是能拆成离线阶段就拆成离线阶段。比如分割阶段我通常先把整段视频的蒙版一次性算出来存成 PNG 序列然后再做重绘。好处是调试重绘参数时不用重新跑分割节省大量时间。3.2 视频拆帧抽帧还是全量处理取决于你的显存VHS 的 Load Video 节点会把视频解码成图像序列同时输出帧率、音频等信息。想精细控制可以用 Split Video 把视频拆成图像序列或者直接用 Load Video 输出的 images 接后续节点。这里有一个关键决策点全量处理还是抽关键帧。以 10 秒、30fps 的视频为例总共 300 帧。全量处理意味着每一帧都要做分割重绘显存占用和耗时都会比较可观。而很多视频内容在连续帧之间差异其实很小比如产品展示视频主体基本不动背景更是完全不变。这时候抽帧就很有必要先以 10fps 或者更低的帧率做一次预演跑通后再决定要不要全量。我的习惯是前期调参用 3 秒钟的片段90 帧确认效果后再对完整视频用原帧率跑。很多人一上来就拿完整视频跑跑一半发现自己提示词写错了又得从头来白白浪费几个小时。另外一个经验VHS 在导出视频时会自动处理帧率和音频如果你希望保留原视频的音频记得在导出节点里接上 audio 输入同时选择合适的编码参数。3.3 分割环节从框选到蒙版SAM2 的两种用法在 ComfyUI 里用 SAM2 做分割最常见的两种路子。第一种是 GroundingDINO SAM2 组合。GroundingDINO 接受一段文本描述比如 “person”“product”自动定位出候选框然后把候选框作为框提示传给 SAM2SAM2 在框内精细分割出像素级蒙版。这个路子的好处是全自动你只需要写对描述词坏处是描述不准时可能出现定位错误需要搭配其他节点做框过滤。第二种是纯 SAM2 手动框选/点选。SAM2 支持点提示和框提示你可以用额外节点手工在图片上画框框住主体然后分割。好处是精准坏处是每张图像都要交互不适合批量跑长视频。我实际用的折中方案是先对第一帧用 GroundingDINOSAM2 自动生成蒙版同时手工检查确认蒙版准确后把第一帧的提示框作为参考用于后续帧。对于短视频SAM2 是支持用第一帧的 prompt 传播到后续帧的这是 SAM2 相比 SAM1 的核心能力不过在 ComfyUI 节点里这个传播能力也取决于具体插件的实现方式。保守做法仍然是逐帧推理因为计算量可控准确率更稳定。3.4 重绘与合成两种主流路径怎么选拿到蒙版之后就进入背景处理阶段。这里有两种路径对应不同需求。路径一直接合成固定背景。如果你的需求是“把背景换成一张准备好的图”比如品牌场景、纯色背景那根本不需要重绘模型。流程是准备好背景图把背景图缩放到和视频帧一样大小然后用蒙版做 alpha 混合——蒙版为 0 的区域显示背景图蒙版为 1 的区域显示原始帧的前景。这个方案速度快、背景完全稳定适合电商产品和口播背景替换。路径二用 AI 重绘背景。当你想让背景“凭空生成”而不是“替换为已有图片”时就需要重绘。做法是把原始帧蒙版一起喂给 inpaint 模型让模型只重绘蒙版区域也就是背景区域生成和周围光影衔接自然的新背景。这种路径的难点在于生成过程是逐帧进行的每帧的重绘结果可能不一样背景会出现闪烁。怎么解决背景闪烁我的经验有三个层次第一层固定 seed。一张图一个随机种子至少保证每帧背景的基础纹理相对一致第二层降低 denoise 强度。在“保留原背景大体结构、只改变风格”的场景下denoise 控制在 0.4-0.6 之间背景内容变化不会太大第三层先重绘一张基准背景图再以它为参考让后续帧的重绘尽量贴近基准背景。这三个层次我后面在参数调优部分会展开讲。4. 关键参数实测蒙版稳定性、重绘强度和显存调优的取舍4.1 蒙版质量是整条链路的生死线先讲一个我在无数次实验后总结出的结论视频背景替换项目的质量上限由蒙版决定而不是由重绘模型决定。蒙版边缘如果抖一下整段视频就废了重绘模型再强大也补不回来。那么问题来了SAM2 逐帧分割出来的蒙版为什么还是会抖原因在于视频帧之间有轻微的运动模糊、编码噪声和亮度变化这些都会影响分割模型的边界判定。哪怕主体动作很小蒙版边缘也可能在相邻帧之间有 1-2 个像素的波动。动态场景下这种波动会被肉眼明显感知。我的处理策略按优先级排列蒙版后处理对蒙版做轻微的膨胀比如 1-2 像素再做一个高斯模糊半径 1-1.5 像素让边缘过渡更柔和。这样能遮掉很多细碎的边界噪声。时序平滑把相邻几帧的蒙版取一下交集或并集。如果主体是运动的取并集会让蒙版偏大、容易带入背景取交集会让蒙版偏小、容易裁掉主体。实际上我常用的是“滑动窗口平均”即把前后 3-5 帧的蒙版做加权平均得到当前帧的平滑蒙版。这个操作在 ComfyUI 里可以用批处理节点配合简单的图像运算节点实现。保持前景原始像素合成时对前景边缘做小半径羽化feather。羽化会让边缘不显得生硬即使蒙版有 1-2 像素的误差视觉上也不容易被察觉。我特意强调一点在做蒙版时序平滑时先平滑蒙版再用平滑后的蒙版去合成而不是直接在合成结果里做帧间混合。后者会引入重影效果更差。4.2 重绘强度、提示词和 seed 对背景一致性的影响背景重绘阶段我最常调的参数是 denoise、seed 和提示词。denoise 强度决定了重绘模型对原背景的改动幅度。如果你想要的只是“把杂乱环境换成整洁环境”而不是“彻底改变环境”denoise 建议控制在 0.4-0.6。低于 0.4重绘效果可能不明显背景变化太弱高于 0.7背景会逐帧剧烈变化闪烁问题会非常明显。seed 固定是背景一致性的基础操作。我在 ComfyUI 里会用一个固定的 seed 值跑完整条工作流这样至少保证每帧的起始噪声是同一个来源。不过固定 seed 并不能完全解决闪烁因为它只是让每帧的“起点”一致后续的纹理细节还是可能有差异。提示词层面有一个反直觉的经验重绘背景时提示词里尽量不要写主体相关的内容。比如你想保留人物就不要在提示词里写 “a person”否则模型可能会试图重绘人物区域干扰前景。背景提示词越简洁明确越好最好带上“背景”“环境”这样的限定词再描述你想要的风格、色调、场景元素。如果视频较长且背景复杂我建议加一个“背景参考图”的思路先单独生成一张理想的背景图把它和当前帧一起送入重绘模型让模型在重绘时参考这张图的风格与结构。ComfyUI 里支持 img2img 参考图输入的方式虽然最终效果不完全等于直接用这张背景图但一致性会有明显提升。4.3 显存不够时怎么跑从单卡到双卡的实践很多人在跑视频工作流时会遇到“GPU 显存不足”这个场景我太熟了。实际上ComfyUI 视频工作流的显存占用大头往往不是模型本身而是批处理时把大量帧同时放在显存里。尤其是 VHS 一次加载几百帧再并行跑分割和重绘显存很容易爆。几个行之有效的办法第一步降低 batch size。ComfyUI 很多节点默认会批量处理如果显存不够把 batch size 从默认值降到 1甚至用“分批处理”的方式一次只处理 8-16 帧。第二步开低显存模式。启动参数加上--lowvram或--medvramComfyUI 会自动把模型在显存和内存之间调度速度会慢一些但能跑通。第三步拆阶段执行。把整个工作流拆成“分割阶段”和“重绘阶段”分别执行并保存中间结果这样每个阶段最多只占用一个模型的显存峰值立刻降下来。第四步双卡或 CPU offload。如果你有两张卡可以在分割阶段指定一张卡重绘阶段本文还有配套的精品资源点击获取 用ComfyUI实现视频背景替换：VideoRefusion工作流全解析
简介在视频后期制作中背景替换一直是耗时耗力的环节。传统绿幕与手动抠像难以应对复杂边缘与动态场景而AI视频编辑技术通过智能分割与生成式重绘为视频背景替换提供了全新思路。其核心原理基于语义分割模型如SAM2将前景主体与背景分离再借助图像生成模型对背景进行重绘或直接合成最终实现无需绿幕的视频换景。这种技术不仅适用于电商产品视频、口播内容背景清理还能用于短视频创意二改大幅提升后期效率。本文以ComfyUI为工具详细拆解视频背景替换的工作流搭建涵盖环境配置、节点串联、参数调优与踩坑排查帮助读者快速上手AI视频处理。围绕VideoRefusion范式通过拆帧、分割、重绘、合成四步即可完成高质量的视频背景替换。 前阵子接了个活儿对方发来一段产品演示视频要求把背后乱糟糟的办公环境换成干净的品牌调性背景人物动作、光影、产品色彩都不能动。这种需求放几年前要么搭绿幕重拍要么在后处理软件里逐帧抠像光是对齐边缘、处理发丝就得耗掉大半天。最后我把整条流程搬进了 ComfyUI用一套视频背景替换的工作流来完成这套思路现在常被叫作 VideoRefusion。它不是某一个开箱即用的按钮而是一种处理范式先从视频帧里把前景主体完整地分割出来再用 AI 对背景区域做重绘最后把原视频的前景像素和新背景合成输出。整个过程不需要绿幕不需要手工逐帧抠像只需要你把 ComfyUI 的节点按正确顺序搭起来并且愿意在几个关键参数上花时间调试。适合谁来参考如果你正在做电商产品视频、口播内容背景清理、短视频创意二改或者只是对“用 AI 操作视频”这件事感兴趣这篇文章应该能帮你少走不少弯路。我会把从环境搭建到节点串联、从参数调试到踩坑排查的完整经验都写出来尽量让一个刚接触 ComfyUI 的小白也能照着操作到出片。1. 视频换背景这件事为什么我最后选了 ComfyUI 这条路线1.1 传统方案让人抓狂的地方先说绿幕。绿幕拍摄在影视行业是标准流程但它有一个前提你得在拍摄阶段就搭好绿幕、布好光。对一个做电商短视频的个人或小团队来说很多时候素材是现成的产品视频已经拍完了根本没机会补拍。就算能补拍绿幕上的反光、人物边缘的绿色溢出、发丝的处理每一样都够后期喝一壶。我见过太多刚开始接触视频处理的人以为有绿幕就万事大吉结果导出来之后头发边缘全是绿边只能一遍遍手擦。其次是手动抠像。在剪辑软件或图像工具里逐帧画蒙版熟练工处理 5 秒钟 30 帧的视频耗上半小时到一小时是很正常的事情。如果主体动作幅度大、边缘细节多比如手指、头发、衣服褶皱时间直接翻倍。短视频时代节奏太快这种“人力密集型”的活儿根本不划算。还有一种更取巧的做法用单帧抠图模型逐帧跑。比如直接用 RMBG、U2Net 这类通用抠图模型把视频逐帧抠成透明 PNG 再叠到新背景上。听上去可行但实际效果很惨——因为这些模型独立处理每一帧没有“前后帧一致性”的概念主体稍微一动边缘蒙版就跟着抖最终成片看起来像边缘在“呼吸”专业说法叫蒙版闪烁。这种问题修起来反而比手动抠像更头疼。1.2 VideoRefusion 到底在解决什么问题说穿了传统方案和 AI 时代的方案差的不是“抠图准确率”而是“对视频时间维度的理解”。VideoRefusion 这套思路的核心逻辑是分而治之先把视频拆成帧序列对每一帧做主体分割语义分割/实例分割模型比如 SAM2拿到前景蒙版然后对背景区域做 AI 重绘或者直接把生成好的静态背景图合成到蒙版之外最后按帧合成并输出视频。为什么我不把它理解成一个“工具”而是“思路”因为“动态替换视频背景”这个需求本身就拆成了两个独立问题问题一是“如何稳定地分割出主体”这靠分割模型的推理能力问题二是“如何生成与被替换背景自然融合的内容”这靠图像生成模型的创作能力。这两个问题对应不同模型、不同参数只有用 ComfyUI 这种节点化的工作流工具才能把这么多种模型自由组合、按需替换。你可以在不改变整体流程的前提下把分割模型从 SAM 换成 SAM2把重绘模型从 SD1.5 换成 Flux整个链路依然成立。1.3 它适合哪些场景又有什么局限适合的场景我最常接触的有三类电商产品视频产品动作不变把实景背景换成纯色或品牌场景口播/课程视频把家居背景换成书桌、演播厅或者干脆换成虚化背景短视频创意给人物加一个完全新奇的场景比如把城市街景换成游戏世界。局限也很明显。最突出的一点是如果前景和背景之间有明显的光影交互比如玻璃反射、水面倒影、地面投影这种“先分割后重绘”的思路很容易穿帮。分割模型只会告诉你“这是前景”它不会告诉你“前景投在背景上的影子也是前景的一部分”。这类物理交互细节目前还是需要人工补工作量不大但你不能指望全自动。还有一点如果你追求“完美逐帧的光照一致性”VideoRefusion 这种思路不理想。它更擅长的是“视频内容不变背景换了”这件事本身。2. 环境准备从 ComfyUI 本体到依赖节点的完整装配2.1 ComfyUI 本体的安装整合包还是手动部署环境这块我简单对比一下三种常见方式。第一种官方手动部署。git clone官方仓库装依赖然后启动。优点是最新、最干净跟随官方更新没有负担缺点是对新手不友好比如 Python 环境、显卡驱动、torch 版本不匹配任何一个环节出错都够折腾半天。第二种秋叶一键整合包。这是国内社区流传非常广的方案当年我自己也是从整合包入的门。它最核心的价值是“开箱即用”自带 Python 环境、模型目录骨架、节点管理器和启动器GPU 版本也内置好了。对第一次接触 ComfyUI 的人来说整合包几乎把“环境配置”这个最大的坑帮你填上了。当然也有人说整合包版本滞后这个问题确实存在好在秋叶整合包自带升级功能自定义节点也能自己更新。第三种Docker 部署。适合服务器端跑批量的用户或者对系统环境有洁癖的人。我个人的建议是如果你的本机是 NVIDIA 显卡刚开始就走整合包跑通第一张图、第一段视频之后再去考虑手动部署或 Docker否则很容易在环境层面劝退。说一个我实际踩过的坑下载整合包之后如果启动报错提示缺 DLL 或者 torch 加载失败多半是显卡驱动太老先更新显卡驱动而不是急着重装整合包。关于双卡用户——有些工作流要跑得动一张显卡确实吃力。ComfyUI 支持多卡配置可以在启动参数里指定--cuda-device 0或--cuda-device 1甚至把不同的处理环节拆分到不同卡上执行。不过这是进阶操作建议先把单卡流程跑通。2.2 必备自定义节点装好这些才能谈视频处理进入正题视频背景替换工作流里有几个自定义节点几乎绕不开我把它们的用途和安装方式列一下。节点/插件作用安装要点ComfyUI-VideoHelperSuiteVHS视频加载、拆帧、合并、音频处理需要安装 ffmpeg 依赖新版内置了二进制ComfyUI-SAM2基于 SAM2 的主体分割做蒙版需要下载 SAM2 模型权重ComfyUI-GroundingDINO文本/框提示检测主体配合 SAM2 一起用框住主体再分割ComfyUI-RMBG快速抠图适合简单主体通用抠图复杂边缘效果一般任意支持 inpaint 的重绘模型相关节点背景区域重绘工作流本身不需要额外节点模型放进 checkpoints这些插件装到 ComfyUI 根目录下的custom_nodes文件夹里。整合包一般就装在ComfyUI_windows_portable\ComfyUI\custom_nodes这个位置。安装方式很简单在目录下打开终端执行git clone 仓库地址然后重启 ComfyUI就会在节点列表里看到新节点了。如果你用的是整合包也可以在节点管理器的“安装缺失节点”里一键安装更省事。这里提醒一句每个插件更新频率不同如果一个节点今天还能用、明天启动就报错大概率是插件和 ComfyUI 核心版本不兼容。我遇到这种情况的常规操作是去插件的项目仓库看 issues而不是急着删掉重装。2.3 模型准备把这几样东西先备齐整个流程里需要的模型分三块。第一块分割模型。我用得最多的是 SAM2Segment Anything 2它需要下载 checkpoint 文件一般放在models/sam2目录下配套的 GroundingDINO 权重放在models/grounding-dino目录下。这两个模型配合起来就是“你输入描述或框选主体→DINO 定位→SAM2 精细分割”。第二块背景重绘模型。这里有一个选择问题。如果重绘强度不高、视频场景不复杂用 SD1.5 的 inpainting 模型就足够了速度快、显存占用低如果对背景质量要求很高可以考虑 SDXL 或 Flux 的 inpainting 版本但显存和耗时都会明显上涨。我自己的经验是8GB 显存优先用 SD1.5 系12GB 以上可以尝试 SDXLFlux 系列尽量在 24GB 或双卡环境下跑。第三块可选的辅助模型。比如提示词反推模型BLIP、Florence2可以把原视频的画面描述反推出来做提示词参考。这个在“想把原背景重绘成类似风格”的时候有用但如果你已经有了明确的目标背景描述用不上。一个很容易被忽略的细节模型文件一定要放在 ComfyUI 对应的models目录下并且在节点里选择正确的 checkpoint 名称。很多新手上来就报“模型不存在”其实是因为文件名写错或放错目录。3. 工作流主体逻辑拆解拆帧、分割、重绘、合成四个环节怎么串3.1 先看整体链路再一个个说我搭这套工作流时把整条链路分成了四个阶段用 VHS 加载视频拆成帧序列对每一帧或关键帧做主体分割生成蒙版按蒙版对背景区域做重绘或直接把准备好的背景图合成进去把前景帧与新背景合成最后用 VHS 输出视频。这里面最核心的一个设计决策是前景永远用原视频像素背景才交给 AI 去生成。这样既保住了主体的细节不会出现肢体变形、手部崩坏又把 AI 的创造力限制在背景区域。如果你反过来做“整帧重绘”确实也能换背景但主体会跟着被重绘动作细节大概率会走样遇到手部、文字这种高频细节更是灾难。另外一个设计决策是能拆成离线阶段就拆成离线阶段。比如分割阶段我通常先把整段视频的蒙版一次性算出来存成 PNG 序列然后再做重绘。好处是调试重绘参数时不用重新跑分割节省大量时间。3.2 视频拆帧抽帧还是全量处理取决于你的显存VHS 的 Load Video 节点会把视频解码成图像序列同时输出帧率、音频等信息。想精细控制可以用 Split Video 把视频拆成图像序列或者直接用 Load Video 输出的 images 接后续节点。这里有一个关键决策点全量处理还是抽关键帧。以 10 秒、30fps 的视频为例总共 300 帧。全量处理意味着每一帧都要做分割重绘显存占用和耗时都会比较可观。而很多视频内容在连续帧之间差异其实很小比如产品展示视频主体基本不动背景更是完全不变。这时候抽帧就很有必要先以 10fps 或者更低的帧率做一次预演跑通后再决定要不要全量。我的习惯是前期调参用 3 秒钟的片段90 帧确认效果后再对完整视频用原帧率跑。很多人一上来就拿完整视频跑跑一半发现自己提示词写错了又得从头来白白浪费几个小时。另外一个经验VHS 在导出视频时会自动处理帧率和音频如果你希望保留原视频的音频记得在导出节点里接上 audio 输入同时选择合适的编码参数。3.3 分割环节从框选到蒙版SAM2 的两种用法在 ComfyUI 里用 SAM2 做分割最常见的两种路子。第一种是 GroundingDINO SAM2 组合。GroundingDINO 接受一段文本描述比如 “person”“product”自动定位出候选框然后把候选框作为框提示传给 SAM2SAM2 在框内精细分割出像素级蒙版。这个路子的好处是全自动你只需要写对描述词坏处是描述不准时可能出现定位错误需要搭配其他节点做框过滤。第二种是纯 SAM2 手动框选/点选。SAM2 支持点提示和框提示你可以用额外节点手工在图片上画框框住主体然后分割。好处是精准坏处是每张图像都要交互不适合批量跑长视频。我实际用的折中方案是先对第一帧用 GroundingDINOSAM2 自动生成蒙版同时手工检查确认蒙版准确后把第一帧的提示框作为参考用于后续帧。对于短视频SAM2 是支持用第一帧的 prompt 传播到后续帧的这是 SAM2 相比 SAM1 的核心能力不过在 ComfyUI 节点里这个传播能力也取决于具体插件的实现方式。保守做法仍然是逐帧推理因为计算量可控准确率更稳定。3.4 重绘与合成两种主流路径怎么选拿到蒙版之后就进入背景处理阶段。这里有两种路径对应不同需求。路径一直接合成固定背景。如果你的需求是“把背景换成一张准备好的图”比如品牌场景、纯色背景那根本不需要重绘模型。流程是准备好背景图把背景图缩放到和视频帧一样大小然后用蒙版做 alpha 混合——蒙版为 0 的区域显示背景图蒙版为 1 的区域显示原始帧的前景。这个方案速度快、背景完全稳定适合电商产品和口播背景替换。路径二用 AI 重绘背景。当你想让背景“凭空生成”而不是“替换为已有图片”时就需要重绘。做法是把原始帧蒙版一起喂给 inpaint 模型让模型只重绘蒙版区域也就是背景区域生成和周围光影衔接自然的新背景。这种路径的难点在于生成过程是逐帧进行的每帧的重绘结果可能不一样背景会出现闪烁。怎么解决背景闪烁我的经验有三个层次第一层固定 seed。一张图一个随机种子至少保证每帧背景的基础纹理相对一致第二层降低 denoise 强度。在“保留原背景大体结构、只改变风格”的场景下denoise 控制在 0.4-0.6 之间背景内容变化不会太大第三层先重绘一张基准背景图再以它为参考让后续帧的重绘尽量贴近基准背景。这三个层次我后面在参数调优部分会展开讲。4. 关键参数实测蒙版稳定性、重绘强度和显存调优的取舍4.1 蒙版质量是整条链路的生死线先讲一个我在无数次实验后总结出的结论视频背景替换项目的质量上限由蒙版决定而不是由重绘模型决定。蒙版边缘如果抖一下整段视频就废了重绘模型再强大也补不回来。那么问题来了SAM2 逐帧分割出来的蒙版为什么还是会抖原因在于视频帧之间有轻微的运动模糊、编码噪声和亮度变化这些都会影响分割模型的边界判定。哪怕主体动作很小蒙版边缘也可能在相邻帧之间有 1-2 个像素的波动。动态场景下这种波动会被肉眼明显感知。我的处理策略按优先级排列蒙版后处理对蒙版做轻微的膨胀比如 1-2 像素再做一个高斯模糊半径 1-1.5 像素让边缘过渡更柔和。这样能遮掉很多细碎的边界噪声。时序平滑把相邻几帧的蒙版取一下交集或并集。如果主体是运动的取并集会让蒙版偏大、容易带入背景取交集会让蒙版偏小、容易裁掉主体。实际上我常用的是“滑动窗口平均”即把前后 3-5 帧的蒙版做加权平均得到当前帧的平滑蒙版。这个操作在 ComfyUI 里可以用批处理节点配合简单的图像运算节点实现。保持前景原始像素合成时对前景边缘做小半径羽化feather。羽化会让边缘不显得生硬即使蒙版有 1-2 像素的误差视觉上也不容易被察觉。我特意强调一点在做蒙版时序平滑时先平滑蒙版再用平滑后的蒙版去合成而不是直接在合成结果里做帧间混合。后者会引入重影效果更差。4.2 重绘强度、提示词和 seed 对背景一致性的影响背景重绘阶段我最常调的参数是 denoise、seed 和提示词。denoise 强度决定了重绘模型对原背景的改动幅度。如果你想要的只是“把杂乱环境换成整洁环境”而不是“彻底改变环境”denoise 建议控制在 0.4-0.6。低于 0.4重绘效果可能不明显背景变化太弱高于 0.7背景会逐帧剧烈变化闪烁问题会非常明显。seed 固定是背景一致性的基础操作。我在 ComfyUI 里会用一个固定的 seed 值跑完整条工作流这样至少保证每帧的起始噪声是同一个来源。不过固定 seed 并不能完全解决闪烁因为它只是让每帧的“起点”一致后续的纹理细节还是可能有差异。提示词层面有一个反直觉的经验重绘背景时提示词里尽量不要写主体相关的内容。比如你想保留人物就不要在提示词里写 “a person”否则模型可能会试图重绘人物区域干扰前景。背景提示词越简洁明确越好最好带上“背景”“环境”这样的限定词再描述你想要的风格、色调、场景元素。如果视频较长且背景复杂我建议加一个“背景参考图”的思路先单独生成一张理想的背景图把它和当前帧一起送入重绘模型让模型在重绘时参考这张图的风格与结构。ComfyUI 里支持 img2img 参考图输入的方式虽然最终效果不完全等于直接用这张背景图但一致性会有明显提升。4.3 显存不够时怎么跑从单卡到双卡的实践很多人在跑视频工作流时会遇到“GPU 显存不足”这个场景我太熟了。实际上ComfyUI 视频工作流的显存占用大头往往不是模型本身而是批处理时把大量帧同时放在显存里。尤其是 VHS 一次加载几百帧再并行跑分割和重绘显存很容易爆。几个行之有效的办法第一步降低 batch size。ComfyUI 很多节点默认会批量处理如果显存不够把 batch size 从默认值降到 1甚至用“分批处理”的方式一次只处理 8-16 帧。第二步开低显存模式。启动参数加上--lowvram或--medvramComfyUI 会自动把模型在显存和内存之间调度速度会慢一些但能跑通。第三步拆阶段执行。把整个工作流拆成“分割阶段”和“重绘阶段”分别执行并保存中间结果这样每个阶段最多只占用一个模型的显存峰值立刻降下来。第四步双卡或 CPU offload。如果你有两张卡可以在分割阶段指定一张卡重绘阶段本文还有配套的精品资源点击获取