在上一张里我们在本地部署了LTX2.3视频模型并且用ComfyUI官方提供的工作流跑了一下成功制作了一个5s的视频。本来想着这一章去跑一跑图生视频的工作流但仔细考虑了一下我们的目的是学习而不是去快速的出效果。如果是以学习知识为目的的话那上一章那个工作流就太简单了组件都是高度集成化的如果是只想出个结果那是OK的但是对于我们学习来说就非常的不友好了。因此我决定这一章我们把上一章那个高度集成化的组件拆开就像我们前面搭图片工作流一样一步一步的去把这个LTX2.3-文生视频的工作流搭起来这样对我们学习知识来说更有利。一、基础知识介绍我们先看上面这张图片是我们上一章的工作流里用的一个高度集成的组件里面我们就加载一个主模型“ltx-2.3-22b-dev-fp8.”、两个Lora一个管画面、一个管放大、还有gemma这个文本编码文件总共四个文件。里面并没有哦出现我们前面学到的VAE文件不了解VAE的同学请仔细看前面的章节但我们都知道LTX模型是可以一次性制作音画同步的视频的就是说不需要我们自己后期配音他在制作视频的同时就会把声音也配进去。所以这个模型需要去处理视频图像、音频、文子他是需要视频VAE、音频VAE这种东西的之所以我们不用去下载是因为他的主模型本身就包含了“视频VAE、音频VAE、和文本的编码文件”。这里大家可能就有问题了既然他的主模型自己已经包含“文本的编码文件”了为什么我们还要下载“gemma_3_12B_it_fp8_scaled”这个文本编码文件。原因是是他自己包含的文本编码文件是模型内部的视频、音频用的不是用来和我们人类交流的想让他明白我们输入的提示词仍然需要借助外部的“gemma_3_12B_it_fp8_scaled”这个文本编码文件。不知道有人注意并点过那个集成组件右上角的那个图标如下图你如果点开过它就能看到和我们常见的工作流比较相像的东西(如下图)。他这个官方给的工作流里面有很奇怪的一点就是明明是文生视频的工作流竟然加了图片节点我后面会参考这个工作流再加上我自己的理解去搭建一个类似的文生视频的工作流。二、插件准备在搭建工作流之前我们需要先安装四个插件1、ComfyMath2、ComfyUI-Impact-Pack3、ComfyUI-KJNodes4、RES4LYF这个是官方建议的一个采样方法‘Res_2s’,需要有这个插件才能拿用其实我们用默认的“euler(速度快)”和“dpmpp_2m(画质好)”也是可以的想尝试的同学可以去下载试试。至于插件的安装方法前面的内容已经说的太多了这里我就不重复了。不太了解的同学请去看前面的内容。三、LTX-2.3文生视频工作流搭建1、模型文件加载1加载主模型可以看到右侧有三个输出节点“MODEL、CLIP、VAE”有些模型是三合一的。不过前面我们已经介绍过了LTX-2.3实际上是不包含外部和人交流的CLIP的。所以这里面我们能用到的就是“MODEL、VAE”这里输出的VAE指的是“视频图像VAE”。2加载音频VAE,LTX是音画同步的因此我们需要一个音频的VAE。可以看到我们这里面用到的文件仍然是模型的主文件。3加载文本编码器上面我们说过LTX内部是有文本编码功能的不过是内部使用的没办法和人交流因此我们在加载文本编码器的时候需要加载两个文件一个“gemma”用来和人交流一个用来和内部的视频VAE、音频VAE交流,里面仍然用的是主模型文件。大概是这么个流程我们输入提示词、gemma翻译以后传给LTX主模型里的文本编码文件、再由他进行翻译以后传给、LTX主模型内部的音频、视频部门。至此所有的模型文件已经准备完成如下图2、模型都有了下一步我们需要告诉模型我们的想法也就是输入提示词。因此我们需要两个提示词的输入框一个输入正面提示词、一个输入负面提示词。3、除了提示词我们是不是还得确定我们要制作的视频的分辨率、帧数、视频长度这些信息。我们先确定视频的帧率为25帧我们先确定视频的分辨率704*1280还记得我们前面文生图的时候用空Latent来确定图片的大小吗同样的确定视频的大小我们也需要一个空Latent视频(如下图)我们确定的视频分辨率是704*1280、时长5s还记得上章我们下载了一个放大2倍的Lora文件“ltx-2.3-spatial-upscaler-x2-1.1”吗我们可以先制作一个352*640的视频最后再通过Lora放大两倍这样可以大大的节省显存。时长5s根据上一张我们学到的帧率知识我们换算一下就是5x25125帧但下面的长度参数那块却是129帧你可以自己试试你填个125他也会自动给你变成129。这是因为LTX 的视频 VAE 做时间压缩时每 8 帧画面打包成 1 份潜数据底层算法要求总帧数必须符合公式总帧数 − 1 能被8整除→ 也就是8×整数 1才是合法帧数。因此我们25帧5s的合法帧数就是129.不管是视频模型还是图像模型他们工作都是要在潜空间里工作的空Latent的作用就是给模型一个工作的潜空间。既然提到“潜空间”了我们LTX模型是可以 音画同步的图像的潜空间有了那音频也是需要一个潜空间的我们一块都给加了frames_number就是总帧数frame_rate就是帧率。既然视频的latent和音频的潜空间都需要帧率的总长度那如果我们后面我么要修改还得一个一个改多麻烦的。因此我们给他改造一下(如下图),这样我们改动的时候就只用改Length里面的数值就行了后面凡是用到总长度的地方都用这个去赋值就OK同样的“LTXV 空音频潜空间”里面的参数frame_rate帧率这块我们就可以把我们前面加的“Frame Rate(int)”组件的值传给他。再一个他还有个红色的接入点“aduio_vae”,就是和音频的VAE模型链接的我们把这两个线都给他连上如下图这个分辨率和帧率模块里面还有个问题就是我们其实想制作的是704*1280的分辨率为了省显存我们让他先生成一个352*640的视频。这样每次还得自己计算一下比较麻烦所以我们就再加一个节点我们自己正常输入让这个节点帮我们去缩小一倍。到了这里我制作视频的想法提示词输入、以及相应的时长、帧率、分辨率都准备好了当前的工作流搭建的整体部分如下图---------结束线---------这个LTX-2.3的文生图工作流还是比较复杂的一章写不完我们下一章继续。我建了一个群方便大家在学习的过程中相互交流。有兴趣的朋友可以加一下平时也会在群里分享一些资料。如果大家在阅读文章的时候有什么困惑可以在文章的底部留言我看到的第一时间就会进行回复。再一个也可以在赞赏文章后针对所赞赏文章的内容有不明白的地方可以和我约个时间进行一对一的实时交流赞赏金额不限制多少都可以