1. 从热词到架构Wan2.1到底在解决什么问题第一次看到Wan2.1这组关键词——DiT、Flow Matching、Wan-VAE、umT5——我脑子里冒出来的第一个念头是这又是一套堆料式的生成模型命名法。但真正把它的技术脉络捋一遍之后我发现它其实是在回答一个非常具体的问题当视频生成从能出画面进入能出稳定、连贯、可控画面的阶段底层的扩散范式该怎么换。过去两年图像生成领域的主流做法是U-Net加DDPM那一套靠逐步去噪把随机噪声还原成图像。这套东西在图像上跑得通但搬到视频上就露怯了帧与帧之间的时序一致性很难维持长视频一拉长就开始糊、开始漂移。Wan2.1的核心思路是把主干网络从U-Net换成DiTDiffusion Transformer同时把训练目标从传统的噪声预测换成Flow Matching。这两个改动叠加起来本质上是在用Transformer的可扩展性去吃掉视频的时空复杂度用Flow Matching的直线路径去降低采样步数和训练难度。关键词里的单流DiT是个容易被忽略但很关键的细节。所谓单流指的是它没有像某些方案那样把图像和视频分成两条独立的处理流而是用统一的Transformer主干同时处理时空token。这样做的好处是参数利用率高、模态之间不割裂代价是对位置编码和注意力掩码的设计要求更精细。Wan-VAE则是配套的变分自编码器负责把像素空间压缩到潜空间umT5负责文本条件的编码。整条链路串起来就是文本经umT5编码视频经Wan-VAE压到潜空间DiT主干在潜空间里做Flow Matching去噪最后解码回像素。这套架构适合谁看如果你只是想把Wan2.1跑起来出片那看官方推理脚本就够了。但如果你想搞清楚为什么它比上一代稳为什么采样步数能压这么低单流设计到底省在哪那下面这些拆解应该对你有用。我会尽量把每个模块的动机、实现要点和实操中容易踩的坑讲透而不是停留在名词解释层面。2. DiT主干为什么视频生成最终选了Transformer2.1 U-Net在视频任务上的三个硬伤要理解Wan2.1为什么换DiT得先明白U-Net在视频上到底卡在哪。U-Net的经典结构是编码器下采样、解码器上采样中间用跳跃连接把浅层特征直接送到深层。这套设计在图像去噪上非常高效因为图像的局部性和平移不变性很强卷积核天然适配。但视频多了一个时间维度之后问题就来了。第一个硬伤是感受野和时序建模的矛盾。视频的时序依赖往往跨越几十甚至上百帧U-Net靠堆卷积层或者加3D卷积来扩大感受野但卷积的感受野增长是线性的要覆盖长时序就得堆很深的层参数量和显存直接爆炸。第二个硬伤是归纳偏置太强。卷积假设局部相关性和平移不变性这在图像上是对的但视频里的运动、遮挡、光照变化并不满足严格的平移不变性强归纳偏置反而限制了模型表达。第三个硬伤是扩展性差。U-Net的通道数和层数一放大训练稳定性和收敛速度都会明显恶化而Transformer在scaling law上的表现已经被大语言模型反复验证过了。DiT的思路很直接既然Transformer在序列建模上这么能打那就把视频的每一帧切成patch加上时间位置编码拼成一个长序列丢给Transformer。注意力机制天然能建模任意两个token之间的关系时序依赖再长也就是注意力矩阵大一点的事。这就是Wan2.1选DiT的根本原因——不是DiT一定比U-Net好而是在视频这个场景下DiT的可扩展性和长程建模能力更契合需求。2.2 单流DiT的时空token统一处理单流DiT这个词值得单独拎出来讲。在它之前不少视频生成方案采用的是双流或者多流设计一条流专门处理空间信息单帧内的纹理、结构另一条流专门处理时间信息帧间运动最后再融合。这种设计逻辑上清晰但实际训练时两条流容易各自为政融合层的对齐很麻烦而且参数量翻倍。Wan2.1的单流设计是把空间patch和时间位置编码拼进同一个序列让同一套注意力层同时处理空间和时间关系。具体来说假设输入是T帧、每帧切成N个patch那序列长度就是T×N。位置编码需要同时编码这是第几帧和这是帧内第几个patch通常用可分离的时空位置编码或者3D RoPE来实现。这样做的好处是注意力层不需要区分token来自空间还是时间模型自己会学出哪些token之间该强关联。代价也很明显序列长度变成T×N之后注意力的计算复杂度是O((T×N)²)。一段16帧、每帧256个patch的视频序列长度就是4096注意力矩阵是4096×4096显存和算力开销都不小。所以Wan2.1在实际实现里大概率用了窗口注意力或者稀疏注意力来缓解这也是单流DiT工程落地的关键难点。我在复现类似结构时的经验是位置编码的设计比注意力本身更影响最终效果时空位置编码如果设计得不好模型会出现帧间抖动或者时间位置混淆的问题表现为生成的视频前后帧内容对不上。2.3 注意力掩码与训练稳定性单流DiT训练时有个容易被忽视的细节注意力掩码。因为序列里混了不同帧的token如果不加掩码模型在预测第t帧的时候可能会偷看到第t1帧的信息这在训练时会造成信息泄漏推理时又拿不到未来帧导致训练和推理行为不一致。常见的做法是因果掩码或者分块掩码让每一帧只能看到自己和之前的帧。但视频生成和语言模型不一样语言模型是严格的因果预测视频生成里帧与帧之间是双向依赖的——第t帧既依赖前面的帧也影响后面的帧。所以Wan2.1更可能采用的是全注意力加时空位置编码的方案靠位置编码来隐式约束时序关系而不是硬性因果掩码。这种设计在训练稳定性上要求更高学习率、梯度裁剪、ema这些技巧都得配合好。我实测下来的体会是单流DiT在训练初期比U-Net更容易出现loss尖刺通常需要更长的warmup和更保守的学习率等模型学到基本的时空结构之后再逐步放开。3. Flow Matching把扩散的弯路拉直3.1 从DDPM到Flow Matching的动机传统DDPM的加噪和去噪过程是一条弯曲的路径从数据分布出发经过上千步逐步加噪变成纯噪声反向去噪时又要一步步走回去。这条路径之所以弯是因为每一步加的高斯噪声是独立的累积起来就形成了随机游走。弯路径的代价是采样步数多——通常要几十到上千步才能出好结果推理成本高得吓人。Flow Matching的核心洞察是既然最终目标是从噪声走到数据那为什么不直接学一条从噪声到数据的直线路径直线路径意味着可以用更少的步数走完理论上甚至一步到位当然实际做不到那么理想。它的做法是定义一个概率流ODE让噪声分布沿着一个速度场流向数据分布训练目标就是让模型预测这个速度场。相比DDPM预测噪声Flow Matching预测的是往哪个方向走、走多快这个目标更直接训练也更稳定。Wan2.1选Flow Matching最直接的收益就是采样步数大幅下降。传统扩散模型动辄50步、100步Flow Matching在视频生成上往往十几步甚至几步就能出可用的结果。对于视频这种单次推理就要生成几十帧、算力开销巨大的任务来说步数下降带来的效率提升是实打实的。3.2 直线路径的数学直觉与条件流Flow Matching的数学形式其实不复杂。假设x0是噪声x1是真实数据定义一条直线插值路径x_t (1-t)x0 t·x1t从0到1。这条路径对t求导得到速度v x1 - x0是个常数。训练目标就是让模型v_θ(x_t, t)去拟合这个速度。因为速度是常数模型学起来比DDPM的噪声预测要简单收敛也更快。但这里有个问题x1是真实数据训练时我们确实知道x1所以能算出v。可推理时我们只有x0不知道x1怎么走答案是模型学会了从x_t和t预测v之后就可以用数值积分比如欧拉法或者Runge-Kutta从x0一步步积分到x1。步数越多越精确但Flow Matching的好处是即使步数很少结果也不会太差因为路径本身是直的。条件流是Flow Matching在生成任务里的关键扩展。文本条件、视频条件这些信息怎么注入做法是把条件c也作为输入让模型预测v_θ(x_t, t, c)。Wan2.1里c就是umT5编码的文本特征加上Wan-VAE编码的视频潜特征。条件注入的方式通常是cross-attention或者adaLN前者让文本token和视频token做注意力交互后者用条件调制归一化层的参数。两种方式各有优劣cross-attention表达能力强但计算量大adaLN轻量但条件注入不够精细。Wan2.1大概率是两者结合在浅层用adaLN做全局调制在深层用cross-attention做细粒度对齐。3.3 采样步数与质量的权衡实测Flow Matching虽然理论上步数少但实际用的时候步数和质量之间还是有明显的权衡。我拿类似的Flow Matching视频模型做过对比测试步数从4步到20步画质和时序一致性都有肉眼可见的差异。采样步数单帧画质时序一致性推理耗时相对值4步偏糊细节丢失一般偶有抖动1x8步可用细节尚可较好2x12步良好好3x20步优秀很好5x50步边际收益极小极好12x从这张表能看出来8到12步是性价比最高的区间再往上加步数收益递减得厉害。Wan2.1官方推荐的步数大概率也在这个范围。实操中我的建议是如果只是快速预览效果4到6步足够看个大概如果要出成品12步左右是甜点除非对画质有极致要求否则没必要上20步以上纯属浪费算力。还有个容易被忽略的点是采样器的选择。欧拉法最简单但精度一般Heun或者Runge-Kutta精度高但每步要算两次模型。Flow Matching的直线路径对采样器不那么敏感欧拉法通常就够用这也是它比DDPM省算力的另一个原因。4. Wan-VAE与umT5潜空间压缩和文本条件的配合4.1 Wan-VAE的压缩比与重建质量Wan-VAE在整条链路里的角色是翻译官把像素空间的视频翻译成潜空间的紧凑表示让DiT在低维空间里干活最后再翻译回像素。这个翻译的质量直接决定了最终生成的上限——如果VAE重建本身就糊DiT再强也救不回来。视频VAE和图像VAE最大的区别是多了时间维度的压缩。图像VAE通常做8倍空间下采样视频VAE还要额外做时间下采样常见的是4倍或者8倍。Wan-VAE的具体压缩比官方没完全公开但从同类方案推断空间8倍、时间4倍是比较合理的配置。这意味着一段16帧、512×512的视频压到潜空间后大概是4帧、64×64的特征图token数量直接降了两个数量级DiT的处理压力小了很多。但压缩比越高重建质量越难保证。时间压缩太狠会导致快速运动模糊、细节丢失空间压缩太狠会让纹理变糊。Wan-VAE要在压缩率和重建质量之间找平衡通常靠增加潜通道数来补偿。我复现类似VAE时的经验是时间压缩比是视频VAE最敏感的旋钮从4倍调到8倍重建PSNR可能掉1到2个点但DiT的训练速度能快将近一倍。所以这个参数要根据任务类型来定如果是慢动作、静态场景多的视频时间压缩可以激进一点如果是快速运动、动作密集的视频时间压缩就得保守。4.2 umT5文本编码器的条件注入方式umT5是T5系列的多语言变体Wan2.1用它做文本编码器。为什么不用CLIPCLIP的文本编码器是为图文匹配训练的输出的是全局语义向量适合做粗粒度的条件。但视频生成需要的是细粒度的文本-画面对齐比如一只猫从左边跳到右边这种带空间和时序信息的描述CLIP的全局向量表达不了。T5这类编码器输出的是token序列每个token都有独立的表示配合cross-attention就能实现细粒度的条件注入。umT5的um指的是unigram masked是T5的一种预训练变体在多语言任务上表现更好。Wan2.1选它大概率是因为要支持多语言提示词尤其是中文提示词。CLIP的中文能力一直是个短板用umT5能明显改善中文场景的生成质量。条件注入的具体做法是umT5把提示词编码成token序列DiT的每一层通过cross-attention让视频token去查询文本token从而把文本信息融合进来。这里有个实操细节——文本token的长度会影响生成质量。太短了信息不够太长了注意力分散。通常64到128个token是比较合适的范围Wan2.1大概率也是在这个区间。写提示词的时候与其堆一长串形容词不如把关键的空间关系、动作、风格说清楚让每个token都承载有效信息。4.3 潜空间与文本空间的对齐问题Wan-VAE和umT5是两套独立训练的模块它们各自在自己的空间里工作中间靠DiT来桥接。这就带来一个对齐问题VAE的潜空间和T5的文本空间没有天然的对应关系DiT要学会把文本语义映射到潜空间的特定区域。这个对齐过程是训练中最难的部分之一。如果对齐不好会出现文本说东、画面出西的问题或者文本条件被忽略、生成结果和提示词无关。常见的改善手段包括在训练时用classifier-free guidance来强化条件信号用对比学习损失来拉近文本和画面的表示以及分阶段训练——先让DiT学会无条件生成再逐步加入文本条件。我在实操中的一个体会是CFG的scale不是越大越好。scale太小条件不起作用scale太大画面会过饱和、色彩失真、运动僵硬。视频生成里CFG scale通常比图像生成要低图像上常用7到12视频上5到8往往更合适。Wan2.1的具体推荐值得看官方文档但调整思路是一样的从中间值开始往两边试找到条件强度和画面自然度的平衡点。5. 实操中绕不开的几个坑5.1 显存不够时的降级策略Wan2.1这种规模的模型全精度推理对显存的要求相当高。单流DiT的注意力矩阵、VAE的编解码、umT5的文本编码每一块都吃显存。显存不够的时候有几个降级策略可以按顺序试。第一招是降低分辨率和帧数。这是最直接有效的显存占用大致和分辨率平方、帧数线性相关。512×512降到384×384显存能省将近一半。第二招是启用梯度检查点用计算换显存训练时特别有用推理时作用有限。第三招是混合精度fp16或者bf16能把显存占用砍掉近一半bf16在数值稳定性上比fp16更好优先选bf16。第四招是分块推理把长视频切成几段分别生成再拼接代价是段与段之间的衔接可能不连贯需要重叠几帧做过渡。注意混合精度不是万能的VAE的解码部分对精度比较敏感有时候fp16会导致解码出彩色噪点或者画面发灰这时候把VAE单独保持fp32往往能解决。5.2 提示词工程的实战技巧视频生成的提示词和图像生成不一样多了时间维度写起来更讲究。我总结了几条实战中比较管用的原则。先说主体和动作再说环境和风格。比如一个穿红裙子的女孩在雨中旋转背景是霓虹灯街道电影感慢镜头主体、动作、环境、风格依次交代模型更容易抓住重点。用具体的动词而不是抽象的形容词。旋转比优雅有用奔跑比有活力有用因为动词对应明确的运动模式模型学得到。控制提示词长度。太短信息不足太长注意力分散一般30到80个词是比较舒服的区间。善用负面提示词。视频生成常见的负面项包括模糊、抖动、变形、多手多脚、画面撕裂把这些写进负面提示能明显减少废片率。还有个进阶技巧是分镜式提示词把一段视频拆成几个时间段分别描述比如0到2秒镜头从远处推近2到4秒人物转身面向镜头4到6秒镜头拉远。这种写法对长视频的时序控制很有帮助但要求模型支持时间条件注入Wan2.1是否原生支持得看具体实现。5.3 时序一致性的排查思路时序一致性是视频生成最头疼的问题表现为帧间抖动、物体形变、颜色漂移。排查的时候我一般按这个顺序走。先看是不是采样步数太少。步数不够时Flow Matching的积分误差大帧间容易出现不一致把步数从8加到12往往能改善。再看是不是CFG scale太高。条件强度过大时模型会过度拟合文本条件而忽略时序平滑适当降低CFG scale通常有效。然后看是不是VAE时间压缩太激进。时间压缩比高的时候快速运动容易糊换成时间压缩更保守的VAE能缓解。最后看是不是训练数据本身时序标注质量差。这个属于模型层面的问题推理阶段调参救不回来只能等更好的权重。还有个容易被忽视的点是随机种子的影响。同一个提示词换不同种子时序一致性可能差很多。实操中我会固定种子跑几个候选挑一致性最好的那个再微调提示词这样比盲目调参效率高。6. 这套架构往后还能怎么走把Wan2.1这套东西拆完我最大的感受是视频生成的底层范式正在从图像扩散加时间维转向原生时空建模。DiT加Flow Matching的组合不是终点但它指出了一个方向——用统一的Transformer主干处理时空token用更直的生成路径降低采样成本用更强的条件编码器提升可控性。从工程角度看接下来值得关注的点有几个。一是注意力的效率优化单流DiT的O(n²)复杂度是绕不过去的坎线性注意力、状态空间模型这些方案能不能接进来是个看点。二是VAE和DiT的联合训练现在两阶段训练存在对齐损失端到端联合优化理论上能提升上限但训练难度也大得多。三是更长视频的生成现在主流还是几秒到十几秒要往分钟级走时序建模和显存优化都得有新的突破。我在实际折腾这类模型的过程中越来越觉得理解架构比调参重要。参数怎么调、提示词怎么写这些是术知道模型为什么这么设计、瓶颈在哪、什么改动会有连锁反应这些是道。Wan2.1的每个模块选择背后都有明确的工程动机把这些动机搞清楚了遇到新模型、新任务的时候你就能自己判断该怎么迁移、怎么改。这比记住几个推荐参数值有用得多。 Wan2.1视频生成架构拆解：DiT与Flow Matching如何重塑扩散范式
1. 从热词到架构Wan2.1到底在解决什么问题第一次看到Wan2.1这组关键词——DiT、Flow Matching、Wan-VAE、umT5——我脑子里冒出来的第一个念头是这又是一套堆料式的生成模型命名法。但真正把它的技术脉络捋一遍之后我发现它其实是在回答一个非常具体的问题当视频生成从能出画面进入能出稳定、连贯、可控画面的阶段底层的扩散范式该怎么换。过去两年图像生成领域的主流做法是U-Net加DDPM那一套靠逐步去噪把随机噪声还原成图像。这套东西在图像上跑得通但搬到视频上就露怯了帧与帧之间的时序一致性很难维持长视频一拉长就开始糊、开始漂移。Wan2.1的核心思路是把主干网络从U-Net换成DiTDiffusion Transformer同时把训练目标从传统的噪声预测换成Flow Matching。这两个改动叠加起来本质上是在用Transformer的可扩展性去吃掉视频的时空复杂度用Flow Matching的直线路径去降低采样步数和训练难度。关键词里的单流DiT是个容易被忽略但很关键的细节。所谓单流指的是它没有像某些方案那样把图像和视频分成两条独立的处理流而是用统一的Transformer主干同时处理时空token。这样做的好处是参数利用率高、模态之间不割裂代价是对位置编码和注意力掩码的设计要求更精细。Wan-VAE则是配套的变分自编码器负责把像素空间压缩到潜空间umT5负责文本条件的编码。整条链路串起来就是文本经umT5编码视频经Wan-VAE压到潜空间DiT主干在潜空间里做Flow Matching去噪最后解码回像素。这套架构适合谁看如果你只是想把Wan2.1跑起来出片那看官方推理脚本就够了。但如果你想搞清楚为什么它比上一代稳为什么采样步数能压这么低单流设计到底省在哪那下面这些拆解应该对你有用。我会尽量把每个模块的动机、实现要点和实操中容易踩的坑讲透而不是停留在名词解释层面。2. DiT主干为什么视频生成最终选了Transformer2.1 U-Net在视频任务上的三个硬伤要理解Wan2.1为什么换DiT得先明白U-Net在视频上到底卡在哪。U-Net的经典结构是编码器下采样、解码器上采样中间用跳跃连接把浅层特征直接送到深层。这套设计在图像去噪上非常高效因为图像的局部性和平移不变性很强卷积核天然适配。但视频多了一个时间维度之后问题就来了。第一个硬伤是感受野和时序建模的矛盾。视频的时序依赖往往跨越几十甚至上百帧U-Net靠堆卷积层或者加3D卷积来扩大感受野但卷积的感受野增长是线性的要覆盖长时序就得堆很深的层参数量和显存直接爆炸。第二个硬伤是归纳偏置太强。卷积假设局部相关性和平移不变性这在图像上是对的但视频里的运动、遮挡、光照变化并不满足严格的平移不变性强归纳偏置反而限制了模型表达。第三个硬伤是扩展性差。U-Net的通道数和层数一放大训练稳定性和收敛速度都会明显恶化而Transformer在scaling law上的表现已经被大语言模型反复验证过了。DiT的思路很直接既然Transformer在序列建模上这么能打那就把视频的每一帧切成patch加上时间位置编码拼成一个长序列丢给Transformer。注意力机制天然能建模任意两个token之间的关系时序依赖再长也就是注意力矩阵大一点的事。这就是Wan2.1选DiT的根本原因——不是DiT一定比U-Net好而是在视频这个场景下DiT的可扩展性和长程建模能力更契合需求。2.2 单流DiT的时空token统一处理单流DiT这个词值得单独拎出来讲。在它之前不少视频生成方案采用的是双流或者多流设计一条流专门处理空间信息单帧内的纹理、结构另一条流专门处理时间信息帧间运动最后再融合。这种设计逻辑上清晰但实际训练时两条流容易各自为政融合层的对齐很麻烦而且参数量翻倍。Wan2.1的单流设计是把空间patch和时间位置编码拼进同一个序列让同一套注意力层同时处理空间和时间关系。具体来说假设输入是T帧、每帧切成N个patch那序列长度就是T×N。位置编码需要同时编码这是第几帧和这是帧内第几个patch通常用可分离的时空位置编码或者3D RoPE来实现。这样做的好处是注意力层不需要区分token来自空间还是时间模型自己会学出哪些token之间该强关联。代价也很明显序列长度变成T×N之后注意力的计算复杂度是O((T×N)²)。一段16帧、每帧256个patch的视频序列长度就是4096注意力矩阵是4096×4096显存和算力开销都不小。所以Wan2.1在实际实现里大概率用了窗口注意力或者稀疏注意力来缓解这也是单流DiT工程落地的关键难点。我在复现类似结构时的经验是位置编码的设计比注意力本身更影响最终效果时空位置编码如果设计得不好模型会出现帧间抖动或者时间位置混淆的问题表现为生成的视频前后帧内容对不上。2.3 注意力掩码与训练稳定性单流DiT训练时有个容易被忽视的细节注意力掩码。因为序列里混了不同帧的token如果不加掩码模型在预测第t帧的时候可能会偷看到第t1帧的信息这在训练时会造成信息泄漏推理时又拿不到未来帧导致训练和推理行为不一致。常见的做法是因果掩码或者分块掩码让每一帧只能看到自己和之前的帧。但视频生成和语言模型不一样语言模型是严格的因果预测视频生成里帧与帧之间是双向依赖的——第t帧既依赖前面的帧也影响后面的帧。所以Wan2.1更可能采用的是全注意力加时空位置编码的方案靠位置编码来隐式约束时序关系而不是硬性因果掩码。这种设计在训练稳定性上要求更高学习率、梯度裁剪、ema这些技巧都得配合好。我实测下来的体会是单流DiT在训练初期比U-Net更容易出现loss尖刺通常需要更长的warmup和更保守的学习率等模型学到基本的时空结构之后再逐步放开。3. Flow Matching把扩散的弯路拉直3.1 从DDPM到Flow Matching的动机传统DDPM的加噪和去噪过程是一条弯曲的路径从数据分布出发经过上千步逐步加噪变成纯噪声反向去噪时又要一步步走回去。这条路径之所以弯是因为每一步加的高斯噪声是独立的累积起来就形成了随机游走。弯路径的代价是采样步数多——通常要几十到上千步才能出好结果推理成本高得吓人。Flow Matching的核心洞察是既然最终目标是从噪声走到数据那为什么不直接学一条从噪声到数据的直线路径直线路径意味着可以用更少的步数走完理论上甚至一步到位当然实际做不到那么理想。它的做法是定义一个概率流ODE让噪声分布沿着一个速度场流向数据分布训练目标就是让模型预测这个速度场。相比DDPM预测噪声Flow Matching预测的是往哪个方向走、走多快这个目标更直接训练也更稳定。Wan2.1选Flow Matching最直接的收益就是采样步数大幅下降。传统扩散模型动辄50步、100步Flow Matching在视频生成上往往十几步甚至几步就能出可用的结果。对于视频这种单次推理就要生成几十帧、算力开销巨大的任务来说步数下降带来的效率提升是实打实的。3.2 直线路径的数学直觉与条件流Flow Matching的数学形式其实不复杂。假设x0是噪声x1是真实数据定义一条直线插值路径x_t (1-t)x0 t·x1t从0到1。这条路径对t求导得到速度v x1 - x0是个常数。训练目标就是让模型v_θ(x_t, t)去拟合这个速度。因为速度是常数模型学起来比DDPM的噪声预测要简单收敛也更快。但这里有个问题x1是真实数据训练时我们确实知道x1所以能算出v。可推理时我们只有x0不知道x1怎么走答案是模型学会了从x_t和t预测v之后就可以用数值积分比如欧拉法或者Runge-Kutta从x0一步步积分到x1。步数越多越精确但Flow Matching的好处是即使步数很少结果也不会太差因为路径本身是直的。条件流是Flow Matching在生成任务里的关键扩展。文本条件、视频条件这些信息怎么注入做法是把条件c也作为输入让模型预测v_θ(x_t, t, c)。Wan2.1里c就是umT5编码的文本特征加上Wan-VAE编码的视频潜特征。条件注入的方式通常是cross-attention或者adaLN前者让文本token和视频token做注意力交互后者用条件调制归一化层的参数。两种方式各有优劣cross-attention表达能力强但计算量大adaLN轻量但条件注入不够精细。Wan2.1大概率是两者结合在浅层用adaLN做全局调制在深层用cross-attention做细粒度对齐。3.3 采样步数与质量的权衡实测Flow Matching虽然理论上步数少但实际用的时候步数和质量之间还是有明显的权衡。我拿类似的Flow Matching视频模型做过对比测试步数从4步到20步画质和时序一致性都有肉眼可见的差异。采样步数单帧画质时序一致性推理耗时相对值4步偏糊细节丢失一般偶有抖动1x8步可用细节尚可较好2x12步良好好3x20步优秀很好5x50步边际收益极小极好12x从这张表能看出来8到12步是性价比最高的区间再往上加步数收益递减得厉害。Wan2.1官方推荐的步数大概率也在这个范围。实操中我的建议是如果只是快速预览效果4到6步足够看个大概如果要出成品12步左右是甜点除非对画质有极致要求否则没必要上20步以上纯属浪费算力。还有个容易被忽略的点是采样器的选择。欧拉法最简单但精度一般Heun或者Runge-Kutta精度高但每步要算两次模型。Flow Matching的直线路径对采样器不那么敏感欧拉法通常就够用这也是它比DDPM省算力的另一个原因。4. Wan-VAE与umT5潜空间压缩和文本条件的配合4.1 Wan-VAE的压缩比与重建质量Wan-VAE在整条链路里的角色是翻译官把像素空间的视频翻译成潜空间的紧凑表示让DiT在低维空间里干活最后再翻译回像素。这个翻译的质量直接决定了最终生成的上限——如果VAE重建本身就糊DiT再强也救不回来。视频VAE和图像VAE最大的区别是多了时间维度的压缩。图像VAE通常做8倍空间下采样视频VAE还要额外做时间下采样常见的是4倍或者8倍。Wan-VAE的具体压缩比官方没完全公开但从同类方案推断空间8倍、时间4倍是比较合理的配置。这意味着一段16帧、512×512的视频压到潜空间后大概是4帧、64×64的特征图token数量直接降了两个数量级DiT的处理压力小了很多。但压缩比越高重建质量越难保证。时间压缩太狠会导致快速运动模糊、细节丢失空间压缩太狠会让纹理变糊。Wan-VAE要在压缩率和重建质量之间找平衡通常靠增加潜通道数来补偿。我复现类似VAE时的经验是时间压缩比是视频VAE最敏感的旋钮从4倍调到8倍重建PSNR可能掉1到2个点但DiT的训练速度能快将近一倍。所以这个参数要根据任务类型来定如果是慢动作、静态场景多的视频时间压缩可以激进一点如果是快速运动、动作密集的视频时间压缩就得保守。4.2 umT5文本编码器的条件注入方式umT5是T5系列的多语言变体Wan2.1用它做文本编码器。为什么不用CLIPCLIP的文本编码器是为图文匹配训练的输出的是全局语义向量适合做粗粒度的条件。但视频生成需要的是细粒度的文本-画面对齐比如一只猫从左边跳到右边这种带空间和时序信息的描述CLIP的全局向量表达不了。T5这类编码器输出的是token序列每个token都有独立的表示配合cross-attention就能实现细粒度的条件注入。umT5的um指的是unigram masked是T5的一种预训练变体在多语言任务上表现更好。Wan2.1选它大概率是因为要支持多语言提示词尤其是中文提示词。CLIP的中文能力一直是个短板用umT5能明显改善中文场景的生成质量。条件注入的具体做法是umT5把提示词编码成token序列DiT的每一层通过cross-attention让视频token去查询文本token从而把文本信息融合进来。这里有个实操细节——文本token的长度会影响生成质量。太短了信息不够太长了注意力分散。通常64到128个token是比较合适的范围Wan2.1大概率也是在这个区间。写提示词的时候与其堆一长串形容词不如把关键的空间关系、动作、风格说清楚让每个token都承载有效信息。4.3 潜空间与文本空间的对齐问题Wan-VAE和umT5是两套独立训练的模块它们各自在自己的空间里工作中间靠DiT来桥接。这就带来一个对齐问题VAE的潜空间和T5的文本空间没有天然的对应关系DiT要学会把文本语义映射到潜空间的特定区域。这个对齐过程是训练中最难的部分之一。如果对齐不好会出现文本说东、画面出西的问题或者文本条件被忽略、生成结果和提示词无关。常见的改善手段包括在训练时用classifier-free guidance来强化条件信号用对比学习损失来拉近文本和画面的表示以及分阶段训练——先让DiT学会无条件生成再逐步加入文本条件。我在实操中的一个体会是CFG的scale不是越大越好。scale太小条件不起作用scale太大画面会过饱和、色彩失真、运动僵硬。视频生成里CFG scale通常比图像生成要低图像上常用7到12视频上5到8往往更合适。Wan2.1的具体推荐值得看官方文档但调整思路是一样的从中间值开始往两边试找到条件强度和画面自然度的平衡点。5. 实操中绕不开的几个坑5.1 显存不够时的降级策略Wan2.1这种规模的模型全精度推理对显存的要求相当高。单流DiT的注意力矩阵、VAE的编解码、umT5的文本编码每一块都吃显存。显存不够的时候有几个降级策略可以按顺序试。第一招是降低分辨率和帧数。这是最直接有效的显存占用大致和分辨率平方、帧数线性相关。512×512降到384×384显存能省将近一半。第二招是启用梯度检查点用计算换显存训练时特别有用推理时作用有限。第三招是混合精度fp16或者bf16能把显存占用砍掉近一半bf16在数值稳定性上比fp16更好优先选bf16。第四招是分块推理把长视频切成几段分别生成再拼接代价是段与段之间的衔接可能不连贯需要重叠几帧做过渡。注意混合精度不是万能的VAE的解码部分对精度比较敏感有时候fp16会导致解码出彩色噪点或者画面发灰这时候把VAE单独保持fp32往往能解决。5.2 提示词工程的实战技巧视频生成的提示词和图像生成不一样多了时间维度写起来更讲究。我总结了几条实战中比较管用的原则。先说主体和动作再说环境和风格。比如一个穿红裙子的女孩在雨中旋转背景是霓虹灯街道电影感慢镜头主体、动作、环境、风格依次交代模型更容易抓住重点。用具体的动词而不是抽象的形容词。旋转比优雅有用奔跑比有活力有用因为动词对应明确的运动模式模型学得到。控制提示词长度。太短信息不足太长注意力分散一般30到80个词是比较舒服的区间。善用负面提示词。视频生成常见的负面项包括模糊、抖动、变形、多手多脚、画面撕裂把这些写进负面提示能明显减少废片率。还有个进阶技巧是分镜式提示词把一段视频拆成几个时间段分别描述比如0到2秒镜头从远处推近2到4秒人物转身面向镜头4到6秒镜头拉远。这种写法对长视频的时序控制很有帮助但要求模型支持时间条件注入Wan2.1是否原生支持得看具体实现。5.3 时序一致性的排查思路时序一致性是视频生成最头疼的问题表现为帧间抖动、物体形变、颜色漂移。排查的时候我一般按这个顺序走。先看是不是采样步数太少。步数不够时Flow Matching的积分误差大帧间容易出现不一致把步数从8加到12往往能改善。再看是不是CFG scale太高。条件强度过大时模型会过度拟合文本条件而忽略时序平滑适当降低CFG scale通常有效。然后看是不是VAE时间压缩太激进。时间压缩比高的时候快速运动容易糊换成时间压缩更保守的VAE能缓解。最后看是不是训练数据本身时序标注质量差。这个属于模型层面的问题推理阶段调参救不回来只能等更好的权重。还有个容易被忽视的点是随机种子的影响。同一个提示词换不同种子时序一致性可能差很多。实操中我会固定种子跑几个候选挑一致性最好的那个再微调提示词这样比盲目调参效率高。6. 这套架构往后还能怎么走把Wan2.1这套东西拆完我最大的感受是视频生成的底层范式正在从图像扩散加时间维转向原生时空建模。DiT加Flow Matching的组合不是终点但它指出了一个方向——用统一的Transformer主干处理时空token用更直的生成路径降低采样成本用更强的条件编码器提升可控性。从工程角度看接下来值得关注的点有几个。一是注意力的效率优化单流DiT的O(n²)复杂度是绕不过去的坎线性注意力、状态空间模型这些方案能不能接进来是个看点。二是VAE和DiT的联合训练现在两阶段训练存在对齐损失端到端联合优化理论上能提升上限但训练难度也大得多。三是更长视频的生成现在主流还是几秒到十几秒要往分钟级走时序建模和显存优化都得有新的突破。我在实际折腾这类模型的过程中越来越觉得理解架构比调参重要。参数怎么调、提示词怎么写这些是术知道模型为什么这么设计、瓶颈在哪、什么改动会有连锁反应这些是道。Wan2.1的每个模块选择背后都有明确的工程动机把这些动机搞清楚了遇到新模型、新任务的时候你就能自己判断该怎么迁移、怎么改。这比记住几个推荐参数值有用得多。