最近不少朋友在后台留言问同一个问题本地部署一套能出图、又能出视频的 AI 工具到底行不行效果能不能和线上平台比网上各种“一键整合包”“本地真神”的说法满天飞下载下来不是报错就是模型不完整折腾一晚上只看到一堆乱码。这篇文章我就把整套“本地开源生图 视频生成”方案从头到尾拆一遍。不夸大效果不搞玄学承诺只讲清楚你需要在什么硬件上跑、装哪些开源项目、下载哪些权重文件、怎么调试参数以及遇到报错怎么排查。跟着流程走完不说人人都能输出一线商业效果但至少能稳定生成可用的图和短视频。1. 本地 AI 生图 视频是什么、为什么值得折腾1.1 从“在线生成”到“本地部署”的转变前两年提到 AI 绘画和 AI 视频大家第一反应是打开即梦、Midjourney、可灵之类的在线平台。这些工具确实方便打开网页、输入提示词、点击生成一二分钟就能看到结果。但问题也出在“在线”这两个字上隐私问题图片、视频素材要上传到云端敏感内容不一定适合。次数限制免费额度有限付费订阅又按量计费反复调试提示词的成本很高。等待时间高峰时段排队严重一张图 30 秒变 3 分钟。风格锁定平台内置模型更新迭代你无法完全控制出图风格也无法使用自定义 LoRA 或 ControlNet。本地部署的思路就是把 Stable Diffusion、AnimateDiff、Wan2.1 这类开源模型放到自己的显卡上运行。数据不出你电脑模型权重自由替换生成多少张都不额外计费还能用社区里各种插件扩展功能。1.2 “生图”和“视频生成”其实是两套技术栈严格来说生图和视频生成不是同一个模型。图像生成模型擅长处理空间构图而视频模型还要额外学时间维度的运动变化。早期开源社区的做法是分别部署两套工具生图用 Stable Diffusion WebUI视频用 Runway、Pika 等在线服务。后来出现了 ComfyUI 这类节点式工作流平台把不同的模型以“节点”形式接入同一个界面。生图节点输出一张图片图片再传给视频节点作为首帧视频节点计算后续帧的运动最终导出视频。这就是“一体化”方案的底层逻辑不是一套模型走天下而是一个平台统一调度多个模型。1.3 为什么大家爱把本地方案和“即梦 2.5”比以即梦 2.5 为代表的商业平台核心优势是产品完成度高提示词理解好、出图精致、视频运动自然、操作门槛低。它的短板是闭源、限流、无法离线。开源社区经过几个版本迭代后在 SDXL、Flux、AnimateDiff、Wan2.1 这些模型上“效果达到商用平台七八成”已经不是夸张说法。对动手能力强的开发者来说用自己的显卡跑一遍生成几张图、一段短视频得到的成就感和可控性是纯在线工具替代不了的。下面我们先把知识点铺垫好再从零开始搭环境。2. 环境准备与硬件基线2.1 硬件要求一张 NVIDIA 显卡是“入场券”本地跑生图和视频最核心的硬件是显卡尤其是显存大小。显存决定了你能不能加载模型、能不能分配足够的计算图空间。任务类型最低显存要求推荐显存说明文生图SD 1.54GB6GB 以上小尺寸出图勉强能跑文生图SDXL / Flux6GB8GB–12GB标准分辨率建议 12GB图生视频AnimateDiff8GB12GB–16GB帧数越多越吃显存大模型视频生成Wan2.112GB16GB 以上可能需要量化或 offload除了显存建议配置内存32GB 起步模型加载和数据预处理都会占用系统内存。硬盘Solid State DriveSSD必须模型文件动辄 5GB 到 20GB机械硬盘加载速度太慢。系统Windows 10/11、Ubuntu 20.04 均可。如果你的显卡显存只有 4GB跑文生图可以视频生成建议直接放弃或者使用云 GPU 方案。2.2 软件环境Python 与 CUDA主流开源 AI 绘画项目基于 Python 开发。推荐使用 Miniconda 管理 Python 环境避免系统环境混乱。Python3.10 或 3.11 CUDA11.8 或 12.1 均可根据 PyTorch 版本选择 显卡驱动建议 525 及以上如果你没有安装 Miniconda可以用微软商店或官网安装。创建独立环境conda create -n comfyui python3.11 conda activate comfyui按照我的经验Python 3.11 对主流库的兼容性最好。3.12 目前还有部分底层库没有适配不建议新手使用。2.3 确认你的显卡可用在终端里执行nvidia-smi如果显示类似如下的信息说明驱动正常----------------------------------------------------------------------------- | NVIDIA-SMI 545.23.08 Driver Version: 545.23.08 CUDA Version: 12.3 | ----------------------------------------------------------------------------- | GPU Name ... Memory-Usage ... | ----------------------------------------------------------------------------- | 0 NVIDIA GeForce RTX 3060 ... 6123MiB / 12288MiB ... | -----------------------------------------------------------------------------如果提示命令不存在说明 NVIDIA 驱动没装好。Windows 用户需要到 NVIDIA 官网下载对应显卡驱动Linux 用户需要安装nvidia-driver相关软件包。3. 开源一体化方案选型ComfyUI 生态大拆解3.1 为什么选 ComfyUI 而不是 WebUIStable Diffusion WebUIAUTOMATIC1111是老牌工具操作界面适合新手。但它的缺点是页面功能固定节点不可编排视频模型支持比较弱。ComfyUI 则是节点式工作流图片从哪里来、传给哪个模型、怎么输出全都可以可视化连线。视频生成的工作流往往需要多阶段传递ComfyUI 生态在这方面更成熟。另外ComfyUI 对显存的利用率明显优于 WebUI。同样一张 1024×1024 图片WebUI 可能需要 8GB 显存ComfyUI 可以通过轻量化模型和优化策略在 6GB 显存上跑完。3.2 生图模型SD 1.5 / SDXL / Flux 怎么选模型优势劣势适用场景SD 1.5生态成熟、LoRA 海量、显存要求低分辨率低细节一般出素材、小图、表情包SDXL分辨率 1024 起步画质细节大幅提升显存要求高、LoRA 相对少高质量插画、摄影写实Flux手部细节和文字渲染强显存要求更高商业设计、复杂构图对于新手我建议从 SDXL 开始。它在画质和配置难度之间比较均衡。视频生成方面AnimateDiff 可以直接吃 SDXL 或 SD 1.5 的底模避免多套模型切换。3.3 视频生成模型AnimateDiff / Wan2.1 / CogVideoX 对比AnimateDiff适合从静态图生成短动画或者文生视频。它依赖 Stable Diffusion 底模显存 8GB 以上可跑视频长度一般 2 秒到 4 秒。Wan2.1阿里开源的大规模视频生成模型支持文生视频和图生视频效果更自然但需要显存 16GB 以上通常要做权重量化。CogVideoX智谱开源的视频生成模型支持较长的视频生成参数规模较大适合有一定调优经验的用户。在一体化工作流里最稳妥的组合是ComfyUI SDXL/Flux 生图 AnimateDiff 图生视频。显存充足的前提下再尝试 Wan2.1。3.4 辅助节点与 LoRA一个完整的本地方案最好再配置 ComfyUI Manager节点管理器。它相当于“插件市场”帮你安装缺失的自定义节点。后续视频生成需要安装的 VideoHelperSuite视频组装节点、AnimateDiff-EvolvedAnimateDiff 核心节点都能在 Manager 里一键安装。4. 完整部署实战从安装到跑通第一张图和第一段视频4.1 第一步下载 ComfyUI最简单的方式是用 Git 拉取官方仓库。项目对新手最友好的启动方式是在 Windows 下使用run_nvidia_gpu.bat。如果你是 Linux 或者命令行爱好者建议直接看源码启动方式。以 Windows 环境为例打开终端先创建一个工作目录mkdir D:\AI-Demo cd D:\AI-Demo git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI进入项目目录后你需要先安装 PyTorch。注意ComfyUI 依赖 PyTorch 的 CUDA 版本不要直接pip install torch下载的可能是 CPU 版。pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121接着安装其余依赖pip install -r requirements.txt如果你已经安装了 Miniconda 并创建了comfyui环境记得先激活再执行上述命令。4.2 第二步准备模型权重ComfyUI 不包含模型权重文件。它需要用户自己下载开源模型放到指定目录中。模型权重你可以从 Hugging Face 或者 ModelScope 社区获取需要留意许可证。推荐下载以下基础模型stable-diffusion-xl-base-1.0.safetensors animateDiffMotionModule.ckpt存放路径建议如下ComfyUI/ └── models/ ├── checkpoints/ # 主模型 │ └── stable-diffusion-xl-base-1.0.safetensors ├── motion_modules/ # AnimateDiff 运动模块 │ └── animateDiffMotionModule.ckpt └── vae/ # 变分自编码器VAE └── sdxl_vae.safetensors如果你在 ModelScope 下载的模型文件名带版本后缀比如xxx.safetensors直接重命名也行。只要路径正确ComfyUI 就会自动识别。4.3 第三步安装 ComfyUI ManagerComfyUI Manager 是必装组件。它能让你在界面里直接安装缺失的自定义节点不用手动进 git clone。在 ComfyUI 目录下打开终端cd custom_nodes git clone https://github.com/ltdrdata/ComfyUI-Manager.git cd ComfyUI-Manager pip install -r requirements.txt完成之后重新启动 ComfyUI。启动命令cd D:\AI-Demo\ComfyUI python main.py --windows-standalone-build如果你是在 Linux 下运行直接执行python main.py启动成功的标志是终端出现Starting server To see the GUI go to: http://127.0.0.1:8188如果你启动了但浏览器自动打开失败手动在浏览器输入这个地址即可。4.4 第四步安装视频生成节点在浏览器打开 ComfyUI 后点击右侧的 “Manager” 按钮需要安装了 ComfyUI Manager 才会出现。找到 “Custom Nodes Manager”搜索以下关键节点AnimateDiff-EvolvedAnimateDiff 的核心节点负责加载运动模块和采样参数。VideoHelperSuite视频加载、保存、帧率转换的辅助工具。ComfyUI-Frame-Interpolation可选视频帧率补全让生成的视频更流畅。安装后点击 “Restart” 重启 ComfyUI。部分节点还需要额外 pip 包Manager 会自动弹出提示按提示安装即可。4.5 第五步加载工作流并跑通第一张图ComfyUI 默认有一个简单的文生图工作流界面中央是节点连线图。当你第一次打开假如画布是空的可以通过菜单加载默认工作流。一个最简文生图工作流的节点顺序是Load Checkpoint → CLIP Text Encode正向提示词 → KSampler → VAE Decode → Save Image → CLIP Text Encode负向提示词 →Step 1双击画布空白处在弹出的节点搜索框中输入以下节点名并回车Load Checkpoint加载主模型CLIP Text Encode输入提示词Empty Latent Image设置生成尺寸KSampler采样器VAE Decode解码Save Image保存图片Step 2连线方式如下Load Checkpoint[MODEL] → KSampler[model] Load Checkpoint[CLIP] → CLIP Text Encode[clip] → KSampler[positive/negative] Empty Latent Image → KSampler[latent_image] KSampler[LATENT] → VAE Decode[samples] Load Checkpoint[VAE] → VAE Decode[vae] VAE Decode[IMAGE] → Save Image[images]Step 3设置正向提示词例如a beautiful landscape, mountains, sunset, highly detailed, cinematic lighting负向提示词可以写lowres, bad anatomy, bad hands, missing fingers, extra digit, blurryStep 4点击右侧面板的 “Queue Prompt” 按钮开始生成。浏览器里会出现进度条。终端也会打印采样进度。如果一切正常生成的图片会直接显示在生成的节点预览里。若图片保存成功则会在输出目录中出现文件默认路径为ComfyUI/output/4.6 第六步跑通第一段图生视频AnimateDiff接下来做最核心的“一体化”能力用一张静态图生成一段短视频。先加载一张图片。你可以用上面刚生成的图也可以自己上传一张图。节点结构建议如下Load Image → VAE Encode → AnimateDiff Loader → KSampler → VAE Decode → Video Combine → Save Video核心节点解释Load Image加载你要使用的首帧图片。VAE Encode把图片从像素空间转换到潜空间供模型处理。AnimateDiff Loader加载运动模块作用是把静态生成过程变成多帧运动生成。KSampler采样器设置。图像生成是单帧采样视频生成是连续多帧采样。Video Combine把多帧组合成视频。Save Video保存为 mp4 或 gif。配置AnimateDiff Loader时选择motion_module为下载好的animateDiffMotionModule.ckpt。KSampler中的denoise参数建议设成 0.50.7。如果太高视频画面会偏离原图太低运动幅度又太小。视频帧数建议先设 16 帧分辨率为 512×512帧率 8fps。这样显存消耗较小。依次点击节点运行工作流。首次跑视频模型ComfyUI 需要编译和加载 motion module可能耗时几分钟这是正常的。最终你会在输出目录得到一个 2 秒左右的 mp4 文件。5. 参数调试为什么你的效果不如别人做过本地 AI 生图的朋友应该都懂同样的模型、同样的硬件别人跑出来的图像大片自己跑出来的像马赛克拼贴。问题大概率出在参数设置。5.1 采样器和步数ComfyUI 的KSampler里核心参数是sampler_name和steps。sampler_name推荐使用dpmpp_2m它对主流底模稳定细节还原好。steps推荐 2030。过高会导致过采样画面反而糊过低则细节缺失。SDXL 一般是 25 步左右。5.2 CFG 参数CFGClassifier-Free Guidance控制文本对画面的约束强度。数值太大会让画面显色过重太小则提示词不生效。建议初始设为 57然后逐步微调。5.3 分辨率和尺寸SDXL 原生训练分辨率是 1024×1024。如果你强行设置 512×512虽然能生成但会出现构图畸形、主体放大的问题。视频生成因为显存限制可以先降到 512 或 640后面显存足够再拉高分辨率。5.4 Denoise 参数在“图生图”和“图生视频”流程中denoise用 0.40.7 比较合适。denoise0.4基本保持原图构图只做风格或色彩微调。denoise0.7画面开始有较多变化适合图生视频。denoise1.0相当于完全重绘已经失去“图生”的意义。5.5 批次大小与帧数如果你显存是 12GB建议视频帧数先设为 16 帧采样batch_size1。不要盲目调高帧数显存溢出会直接导致进程崩溃比生成速度慢更难处理。6. 与“即梦 2.5”等商业平台客观对比很多读者关注这套本地方案确实是因为看到即梦 2.5 的展示效果被种草了。我把两者的差异客观列出。维度本地开源方案ComfyUI 生态即梦 2.5 等商业在线平台使用成本硬件一次性投入电费可忽略按量订阅长期使用费用高隐私性数据完全本地数据上传云端可控性手动控制每个节点和参数只能选官方预设学习成本需要明白节点、模型、采样器概念开箱即用出图风格可以换底模、跑 LoRA、配合 ControlNet固定模型风格统一视频生成帧数、动作幅度可精细调节自动生成不可控因素多硬件要求高至少一张好显卡无门槛我的观点是即梦 2.5 这类平台适合快速出效果、验证创意本地方案适合深度创作、批量生成、隐私敏感的场景。两个并不互相排斥。很多人是把本地方案当作“模型试验场”在本地跑通工作流确认参数之后再决定是否用商业平台放大产出效率。7. 常见问题排查清单本地部署和生成过程最容易遇到一批常见报错。建议按表格顺序排查。问题现象常见原因解决思路启动即报 Torch not compiled with CUDAPyTorch 安装了 CPU 版重装 CUDA 版pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121CUDA out of memory显存不足降低分辨率、减小 batch size、缩短视频帧数启用--lowvram参数启动模型下载失败网络或源地址问题使用 ModelScope 国内镜像地址下载再移动到 models 目录节点丢失/未找到缺少自定义节点ComfyUI Manager → Custom Nodes Manager → 搜索安装生成纯黑/纯白图VAE 缺失或模型损坏检查 checkpoint 文件完整性重新下载 VAE视频只有首帧图片运动模块未加载或帧数设置错误检查 AnimateDiff Loader 是否连接确认 Video Combine 节点引用了 KSampler 输出提示词完全不生效CFG 值太低或采样器不支持CFG 调到 5 以上更换 dpmpp_2m页面打不开启动失败或防火墙检查终端日志确认端口 8188 未被占用尝试关闭防火墙启动慢模型路径需要扫描大型目录确认模型文件放在规定子目录避免放在根目录视频生成时间极长帧数多、步数高、硬件弱帧数降为 16步数降为 20使用 LCM/Lora 加速方案8. 最佳实践与工程建议8.1 用虚拟环境隔离依赖不要图省事直接在全局 Python 环境装 ComfyUI。不同的 AI 项目依赖库版本差异很大后者安装时可能把前者的 PyTorch 版本覆盖掉。建议每个项目一个 conda 环境。8.2 模型权重单独建库训练好的模型权重文件体积大、数量多。建议维护一个独立目录例如D:\AI-Models通过软链接或者环境变量指向 ComfyUI 的 models 目录。后续升级 ComfyUI 版本时不会误删模型。8.3 工作流导出为 JSON 备份ComfyUI 每个工作流都可以点击菜单里的 “Export” 导出为 JSON 文件。把调试好的成品工作流备份到 Git 仓库或者网盘。下次重装系统只需导入 JSON再放回模型文件环境即可快速恢复。8.4 控制显存占用的启动参数如果你的显存偏小ComfyUI 提供了多个启动参数来管理显存python main.py --lowvram python main.py --medvram--lowvram会在每一步强制卸载部分模型可以极大降低显存占用但生成速度会下降。12GB 显存跑 SDXL 建议使用--medvram跑 AnimateDiff 视频建议直接--lowvram。8.5 定时清理输出目录长时间生成会累积大量图片和视频文件。建议在output目录设置子目录按日期保存。或者写一个简单的清理脚本find /path/to/ComfyUI/output -name *.png -mtime 7 -delete find /path/to/ComfyUI/output -name *.mp4 -mtime 7 -delete8.6 关注模型许可证开源模型并不等于免费商用。SDXL 有自己的 LicenseFlux 使用了部分非商业许可AnimateDiff 也有相应的社区使用限制。个人学习和研究没问题但如果要商业化落地务必先查清楚每个模型的授权条款。这是最容易忽略也是最容易埋雷的地方。9. 总结与下一步学习路线写到这整套本地开源生图 视频一体化方案的主干流程已经完整走了一遍。从环境准备、ComfyUI 安装、模型权重下载到文生图、图生视频、常见报错排查每一步对应的都是你实际操作中一定会碰到的点。下一步你可以按照自己的方向深入想把图片画质再提升研究 SDXL 的 Refiner 阶段、ControlNet 的姿态控制、LoRA 风格训练。想把视频效果做自然研究 AnimateDiff 的 motion LoRA、帧插值算法RIFE / FILM和多阶段采样策略。想让整个流程自动化利用 ComfyUI 的 API 模式把工作流封装成后端服务批量生成图片和视频。这套组合的优势不在于某一个模型很强而在于 ComfyUI 把生图和视频统一到了一个可编排、可复现的流程里。你今天的每一步调参、每一条连接线、每一次踩坑积累起来就是一套属于你自己的本地 AI 生产管线。等到显存升级、模型迭代之后这套方法论还能继续复用。