写在前面欢迎大家关注Rocky的公众号WeThinkIn欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。核心导读过去几年主流文生图模型几乎都在潜空间latent space里扩散先用 VAE 把 RGB 图像压缩成低分辨率特征扩散模型只在这些特征上做去噪最后再由 VAE 解码回像素。这个路线训练效率高却把生成质量和推理延迟的一部分决定权交给了 VAE压缩丢掉的细节无法凭空恢复最后一次解码也会成为超少步采样时的固定成本。这篇论文真正值得讨论的并不是“像素空间要不要取代潜空间”这样简单的二选一而是一个更接近产业一线的问题当模型从一次性 Demo 走向高并发、低延迟、可持续迭代的生产系统时训练效率、细节上限和端到端成本应该怎样重新分工Rocky 认为这是像素空间路线的核心价值也是这项工作的跨周期意义。像素空间扩散pixel-space diffusion看起来更直接模型直接预测 RGB 图像理论上绕开重建上限也能通过更大的图像 patch 减少视觉 token。但直接从像素空间做大规模预训练会遇到一个反直觉事实它学得更慢。论文《An Empirical Study of Training Pixel-Space Text-to-Image Diffusion Models》用与 Z-Image 相同的骨干、数据和算力做控制实验发现潜空间模型在整个训练过程中都更快获得物体结构和图文对齐即使训练数据超过 200 亿对像素模型仍未在相同预算内追平。这篇工作的核心判断不是“潜空间或像素空间二选一”而是把两者放到更适合的训练阶段先在潜空间高效获得生成先验再在后训练阶段迁移到像素空间。作者围绕迁移过程系统研究了权重初始化、数据组成、预测目标、解码器、噪声尺度、patch 尺寸和步数蒸馏得到一条可复用的工程配方潜空间初始化 自生成/真实数据混合 x xx-prediction DiP 解码器 γ 2 \gamma2γ2噪声尺度 渐进式增大 patch 像素空间步数蒸馏。最终在 Z-Image 和 FLUX2-klein 两个模型家族上端到端推理加速达到3.18 × 3.18\times3.18×–4.75 × 4.75\times4.75×同时保持相当或更好的生成质量。这不是一次“换模型”的故事而是一次“重排生产系统”的实验潜空间负责低成本学习像素空间负责把质量和延迟兑现到用户侧。下面沿着论文的实验顺序回答三个问题为什么像素空间预训练慢、怎样完成稳定的 latent-to-pixel 迁移以及哪些设计真正决定质量/效率边界。1. 问题背景像素空间为什么值得重新研究1.1 潜空间扩散的效率来自什么又牺牲了什么潜空间扩散的计算优势很明确。以 1024×1024 图像为例VAE 将每个空间维度缩小 8 倍再配合 latent patch size2Transformer 看到的是 64×64 的 token 网格而不是原始 RGB 像素。序列长度、注意力显存和每步网络计算都因此大幅下降。代价也同样明确。第一VAE 的重建目标通常是感知质量或像素重建不等于文生图的生成目标压缩过程中丢掉的细文字、纹理和局部边缘会形成“重建天花板”。第二潜变量分布与 RGB 分布不同扩散模型要学习的是 VAE 产生的中间表示生成结果还要经过一次解码。第三在 4 步、8 步这类超少步采样中去噪网络已经很快VAE 解码的固定延迟反而占据主要比例。像素空间模型直接以归一化 RGB 图像为状态不再依赖 VAE 解码。因此它的潜在收益包括保留压缩丢失的视觉信息把生成和输出统一在同一空间通过增大 patch 直接减少 token而不用继续提高 VAE 压缩比在蒸馏到少步采样时把每次函数评估的成本更直接地转化为端到端收益。1.2 论文的实验问题论文不试图提出一个新网络而是做一组控制变量实验在大规模 text-to-image 设置中像素空间训练到底比潜空间差在哪里如果潜空间预训练更高效能否把其获得的生成先验迁移到像素空间迁移时哪些选择是必要的哪些只是看起来合理但会造成性能或效率损失首页 teaser 展示了最终的 Z-Image-Turbo 像素空间模型在企业级 H800 上生成 1024×1024 图像约需 0.2 秒。这个结果不是单一模块带来的而是后文多项迁移和蒸馏决策共同作用的结果。图 1 的意义在于给出最终系统形态像素空间并不只是为了“避免 VAE”还要与 patch 压缩和少步蒸馏结合才能把空间选择转化成用户能感知的端到端速度收益。2. 总体思路预训练在潜空间后训练转到像素空间作者采用的路线可以写成大规模潜空间预训练 → 像素空间初始化 → 混合数据后训练 → patch 适配 → 少步蒸馏 \text{大规模潜空间预训练} \rightarrow \text{像素空间初始化} \rightarrow \text{混合数据后训练} \rightarrow \text{patch 适配} \rightarrow \text{少步蒸馏}大规模潜空间预训练→像素空间初始化→混合数据后训练→patch适配→少步蒸馏潜空间阶段主要负责学习广泛的视觉先验、物体结构和文本条件对齐像素空间阶段负责消除 VAE 重建瓶颈并让网络直接在 RGB 上完成生成。这个分工的关键是把“容易优化”和“最终输出质量”拆开不要让高维像素噪声阻碍模型获得基础语义也不要让潜变量压缩限制最终图像。从产品角度看这条链路对应两个不同的 KPI。预训练更关心单位算力能否快速获得可迁移的生成能力部署更关心单张图的尾延迟、吞吐和细节一致性。把两者强行放进同一个表示空间往往会让训练和部署同时妥协分阶段迁移则允许团队在每一段优化真正影响业务的指标。论文以 Z-Image 为主要基座并在 FLUX2-klein 上复验。控制实验统一骨干 Transformer、文本条件模块、数据处理、优化器和评测协议只改变预测空间或迁移组件。附录说明基线使用超过 20B 图文对潜变量的空间下采样因子为 8latent patch size2因此 1024×1024 对应 64×64 token像素模型使用 ps16保持相同 token 网格尽量隔离“预测空间”本身的影响。3. 大规模预训练潜空间为什么收敛更快3.1 控制实验与结果在相同架构、数据、算力和训练配置下潜空间模型在 GenEval、DPG 两条曲线上始终领先像素模型。早期差距尤其明显潜空间模型很快形成可辨认的物体结构和图文布局像素模型则需要更长时间才能从高维 RGB 噪声中建立同等规律。图 2 支持的是“训练效率差异”而不是像素空间最终能力必然更弱。相同计算预算下潜空间更快达到可用质量像素模型虽然持续提升却没有在实验窗口内弥合差距。图 3 把曲线差异转成视觉证据潜空间样例更早出现稳定的全局布局、对象身份和文本-图像对应关系像素空间样例在相同迭代点仍可能结构破碎或语义不稳定。3.2 机制解释VAE 不只是压缩器也是学习好的表示潜空间更快的根本原因不是 Transformer 在潜空间里“参数更少”这么简单。VAE 在海量图像上已经学会把局部冗余、高频变化和部分噪声折叠掉同时保留与语义、形状和外观相关的结构。扩散模型接手的是一个更紧凑、更平滑、更有感知组织的分布。像素模型必须同时完成三件事从高维 RGB 中发现全局结构学习局部纹理与颜色统计在此基础上完成条件去噪。换句话说像素空间获得了更直接的监督却失去了一个已经训练好的视觉表示。论文因此给出一个重要的阶段性结论直接像素监督适合最终生成器不一定适合大规模生成先验预训练。这也意味着像素空间并不是“更原生所以天然更先进”表示空间的价值必须放回训练预算、部署瓶颈和目标用户中判断。4. Latent-to-Pixel 迁移六个设计选择4.1 权重初始化先验可以迁移输入输出头需要重建作者比较两种像素后训练完全从头训练或从潜空间预训练模型加载 Transformer 与文本条件权重。像素特有的输入/输出模块在两种配置中都按相同方式初始化保证比较集中在共享生成先验。图 4 和图 5 共同说明潜空间权重并没有因为表示空间改变而失效。它携带的对象结构、布局能力和文本对齐可以作为像素空间优化的起点使模型在更早阶段产生可辨认图像从头训练则在相当长时间内处于不稳定状态。这里的工程边界是不能简单复制所有输入输出层。潜变量通道数、RGB 通道数和 patch 展平维度不同像素特有模块仍需重新初始化或按结构映射真正可迁移的是 Transformer 主干和条件建模能力。4.2 训练数据自生成样本负责“桥接”真实图像负责“纠错”像素后训练比较四种数据真实图像、自生成样本、另一个模型FLUX2-klein-9B生成的样本以及自生成与真实图像 1:1 混合。结果显示真实图像单独训练收敛慢来自同一潜模型的自生成样本收敛快混合数据在速度和最终质量之间最好。图 6 表明自生成数据提供了低分布偏移的“桥”它与初始化权重来自同一个条件分布像素模型不需要重新发现全部生成先验。图 7 则揭示只用自生成数据的隐患源模型和 VAE 解码器的错误会被继承例如字体畸变等伪影仍然存在。高质量真实图像提供了直接的 RGB 监督能够纠正这些错误但单独使用时优化难度更高。因此混合数据不是简单的数据增强而是两个互补信号的组合自生成样本约束模型不要偏离已有生成能力真实图像帮助模型突破 VAE 造成的信息损失。另一个模型的合成数据效果较弱也说明“与初始化模型保持分布对齐”比“只要是高质量合成图”更关键。Rocky 的判断是企业真正需要的不是“合成数据越多越好”而是可控的误差预算哪些错误可以由真实数据纠正哪些错误会在闭环中被放大哪些样本应该进入人工复核。数据混合比例本质上是质量、成本和风险之间的产品决策而不只是训练脚本里的一个超参数。4.3 预测目标迁移阶段优先x xx-prediction论文比较了v vv-prediction 与x xx-prediction。已有像素空间工作常强调x xx-prediction 的稳定性而潜空间基线通常使用v vv-prediction。实验发现稳定的潜空间初始化让两者都可以收敛但x xx-prediction 在整个训练过程中取得更好的 GenEval/DPG。图 8 的重要信息有两层初始化解决了从潜空间切换到像素空间时的部分不稳定性这并不意味着保留原目标就是最佳选择。作者在训练时把x xx-prediction 得到的干净图像转换成对应速度再使用与v vv-prediction 相同的速度空间损失、采样器和时间步分布从而让比较尽量公平。4.4 解码器DiP 是质量和成本的折中点Transformer 主干输出的特征还要经过一个像素解码头。作者固定主干比较 JiT 的线性头、DiP 的轻量卷积 U-Net、PixelDiT 的 PiT Transformer 头、Deco 频率解耦头以及 VAE 参考。解码器GenEvalDPG参数量M延迟msGFLOPsJiT0.738086.192.950.0724.16DiP0.754587.5410.096.02834.03PiT0.769786.362249.8274.9619731.88Deco0.734786.10315.925.012587.05VAE--49.5591.8810472.20PiT 的 GenEval 最高但仅解码器就有 2.25B 参数、19,731 GFLOPs约等于 6B 主干参数量的 37.5%不适合这套大规模设置。JiT 极轻却在 patch 边界产生明显网格伪影。DiP 以 10.09M 参数取得最高 DPG 和有竞争力的 GenEval卷积的局部感受野与权重共享帮助邻近 patch 在合成像素前交互减少接缝。图 9 说明解码器不是“最后随便接一层线性投影”。它决定 token 特征如何变成连续 RGB直接影响局部纹理和 patch 接缝DiP 的价值正是在可接受计算量内提供空间连续性。4.5 噪声尺度分辨率推导只能给参考不能替代校准潜变量切换到 RGB 后信号统计和空间分辨率都改变。作者沿用 flow-matching 路径引入噪声尺度γ \gammaγx t t x 0 ( 1 − t ) γ ϵ , ϵ ∼ N ( 0 , I ) \mathbf{x}_tt\mathbf{x}_0(1-t)\gamma\boldsymbol{\epsilon}, \qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})xttx0(1−t)γϵ,ϵ∼N(0,I)若 RGB 图像相对潜变量每个空间维度放大r 8 r8r8倍并把像素平均池化回潜变量分辨率独立噪声方差会缩小约r 2 r^2r2。在“只有分辨率不同”的简化假设下匹配 SNR 会得到γ r 8 \gammar8γr8的理论参考。但 VAE 编码器不是平均池化RGB 与潜变量的信号分布、预测目标也不同。因此作者实测γ ∈ { 1 , 2 , 4 , 8 } \gamma\in\{1,2,4,8\}γ∈{1,2,4,8}γ \gammaγGenEvalDPG10.681184.0320.754587.5440.741386.0180.731685.64图 10 显示γ 1 , 4 , 8 \gamma1,4,8γ1,4,8会带来明显色偏而γ 2 \gamma2γ2在写实和风格化图像上都更平衡。结论是分辨率比例适合用来初始化搜索范围但真正的噪声尺度必须通过目标分布上的评测校准。5. 效率优化渐进式增大 patch再做步数蒸馏5.1 为什么直接 ps32 会破坏迁移在 1024×1024 生成中ps16 对应 64×64 tokenps32 变成 32×32token 数减少 4 倍ps64 进一步变成 16×16。直接增大 patch 虽然降低计算量但同时改变了预测空间和局部视觉粒度每个 token 要负责更大的区域潜空间主干学到的局部先验无法直接对齐。图 11 和图 12 支持“解耦迁移”的策略先用潜空间权重在像素 ps16 上完成稳定适配再从收敛的 ps16 模型迁移到 ps32得到ps32-adapt16。如果从潜空间直接训练 ps32模型同时面对空间表示切换和 token 粒度变化收敛慢且有局部伪影先适配 ps16 再增大 patch可以保留已学到的像素局部先验。继续从 ps32 适配到 ps64 虽再减少 4 倍 token但细节和指标会明显下降。当 patch 从p pp扩展到2 p 2p2p时一个新 patch 包含四个旧 patch。作者复制输入投影权重并用1 / 2 1/21/2缩放W ′ 1 2 [ W , W , W , W ] \mathbf{W}\frac{1}{2}[\mathbf{W},\mathbf{W},\mathbf{W},\mathbf{W}]W′21[W,W,W,W]四倍 fan-in 由1 / 2 1/21/2因子补偿近似保持激活方差其余 Transformer 与解码器参数直接继承。这个初始化把“结构变化”限制在输入投影降低了大 patch 切换时的优化冲击。5.2 步数蒸馏像素空间才能把 NFE 降低转化为端到端收益步数蒸馏把采样所需的函数评估次数NFE从 100 降到 4。潜空间模型即使 NFE 很少仍要付出一次 VAE 解码成本因此网络加速不会等比例体现到总延迟。像素模型直接输出 RGB没有这个固定尾部成本Decoupled-DMD 与 DMDR 的 NFE 降低能更直接地变成端到端速度。图 13 对应的消融链路是仅切换到像素空间约1.10 × 1.10\times1.10×加速再做更大 patch 后延迟降到 4.56 秒4.41 × 4.41\times4.41×步数蒸馏后像素模型 4 NFE 只需 0.20 秒而潜空间蒸馏模型为 0.95 秒达到4.75 × 4.75\times4.75×。与原始潜空间 100 NFE 管线相比渐进 patch 像素蒸馏的组合端到端加速可达100.6 × 100.6\times100.6×。6. 系统级结果速度提升不是以质量崩溃为代价作者把上述配方扩展到 Z-Image 和 FLUX2-klein 两个模型家族并与对应的潜空间模型及已有 latent-to-pixel 方法比较。评测包括 GenEval、DPG、OneIG、LongText均使用原始 benchmark prompt延迟是在单张 H800、1024×1024、未启用系统级优化时测量。模型NFE延迟sGenEvalDPGOneIGLongTextZ-Image潜空间10020.120.751086.910.5660.9332L2P像素空间10018.260.761286.000.4990.7798本文方法像素空间1004.564.41×0.764487.600.5640.9252Z-Image-Turbo潜空间40.950.762585.310.5200.8639本文方法-Turbo像素空间40.204.75×0.769886.850.5120.8732FLUX2-klein-Base潜空间10020.250.802784.890.5410.5456AsymFlow像素空间10021.420.818186.700.5080.4498本文方法像素空间1006.383.18×0.809686.880.5540.6632FLUX2-klein潜空间40.920.814284.360.5370.4763本文方法-Turbo像素空间40.283.29×0.818586.000.5300.6105这张表有三个值得注意的层次。第一Z-Image 像素模型在 100 NFE 下同时提高 GenEval/DPG 并把延迟从 20.12 秒降到 4.56 秒4 NFE 下也超过潜空间 Turbo 的 GenEval、DPG 和 LongText。第二FLUX2-klein 上速度提升略低但仍达到 3.18×–3.29×说明配方并不只对单一骨干有效。第三像素模型并非所有指标都绝对领先例如 FLUX2 的 AsymFlow 在 GenEval 上更高、部分 OneIG 指标接近因此更准确的结论是“多数指标竞争力相当或更好同时显著降低延迟”而不是全面碾压。7. 这项工作的边界与可复现性第一论文是经验研究结论依赖 Z-Image、FLUX2-klein、特定数据混合比例和 H800 测试环境。它证明了配方在两个模型家族上的可迁移性但不能自动推出所有 DiT、所有分辨率或所有条件模态都适用。第二超过 20B 图文对和 6B 级主干的训练成本很高。论文给出附录中的全局 batch size、学习率、patch 适配 warm-up 等关键设置但真实复现仍需要同等级数据清洗、分布式训练和评测实现。尤其是自生成数据的来源模型、采样配置和真实数据质量会影响迁移效果。第三速度口径需要谨慎。文中延迟是在单 GPU、1024×1024、未使用 FlashAttention 等系统优化下测量不同硬件、编译器、并行策略和 batch size 会改变绝对数值。3.18 × 3.18\times3.18×–4.75 × 4.75\times4.75×是论文设定下的端到端比值不应直接当成所有部署场景的承诺。真正落地时还要把排队、显存、网络传输、后处理和失败重试纳入端到端 SLO论文数字是重要信号但不是完整商业闭环。第四质量评测主要依赖 GenEval、DPG、OneIG、LongText 和定性样例。它们覆盖物体组合、文本渲染和长提示等维度但仍不能完全替代真实用户偏好、细节保真、审美、多语言和安全评测。像素空间的优势尤其可能在高频细节上体现后续需要更细粒度的重建/感知/人评拆分。换句话说模型分数证明“可行”并不自动证明用户愿意付费技术先进性和商业确定性仍然是两件事。8. 对后续研究和工程实践的启发一个直接启发是把“表示空间选择”从模型架构问题提升为训练流程问题。潜空间和像素空间承担不同阶段的职责未来也可以探索多阶段或多分辨率的表示切换而不是把全部预算押在单一空间。第二数据配方应围绕分布桥接来设计。与初始化模型一致的自生成数据能降低迁移难度但会复制错误真实数据提供纠错信号却可能让优化重新变难。可以进一步研究按难度、错误类型或语义覆盖度动态调整合成/真实比例并把 VAE 重建误差、文字区域和细节区域作为采样权重。第三patch 适配本质上是结构化的知识迁移。当前W ′ 1 2 [ W , W , W , W ] \mathbf{W}\frac12[W,W,W,W]W′21[W,W,W,W]是一种简单而有效的方差保持初始化后续可研究从注意力图、频域特征或局部纹理统计中学习更精确的 patch 合并映射争取把 ps64 的 token 压缩损失降下来。第四像素空间与蒸馏的组合值得和系统优化共同设计。像素模型移除了 VAE 固定成本但解码头、显存带宽和高分辨率 patch 仍可能成为新瓶颈。更合理的目标不是只优化 NFE而是联合考虑网络 FLOPs、内存访问、编译融合、批量吞吐和质量约束的端到端 cost model。9. Rocky 的判断像素空间不是替代而是生产系统的重排如果只把这篇论文理解为“像素空间比潜空间快”很容易在下一轮模型迭代中迷失。论文真正提供的是一套可迁移的判断框架。第一不要把表示空间当作信仰把它当作成本函数的一部分。潜空间在大规模预训练阶段的效率优势是真实的像素空间在细节上限和少步推理阶段的收益也是真实的。能否落地取决于团队当前最昂贵的瓶颈究竟是训练算力、VAE 重建、尾延迟还是数据纠错。第二不要只看一次生成的惊艳要看第十万次调用是否仍然稳定。像素空间减少了 VAE 解码这一固定环节但也把更多责任放回训练数据、解码器和系统工程。线上真正需要的是稳定的质量分布、可预测的延迟和可追踪的失败而不是一张 Demo 图。第三工具红利会被吸收判断能力会留下。更大的 patch、更新的蒸馏算法和更快的 GPU 都会迭代跨周期的能力是知道什么时候应该沿用成熟的潜空间、什么时候值得支付像素后训练成本以及如何用真实业务指标验证迁移收益。对算法工程师这是从调模型走向管成本和 SLO对产品经理这是把“生成更清晰”翻译成可感知的等待时间和可交付质量对创业团队这是把论文里的 4 倍加速兑现为单位调用成本、并发能力和客户留存。上半场奖励的是把模型训练出来下半场奖励的是把模型变成可靠的生产资源。像素空间路线的长期价值不在于它是否替代了某个 VAE而在于它提醒我们AI 竞争最终会从单点模型能力走向训练、数据、推理、硬件和产品闭环的系统能力。术语与概念速查术语含义Latent-space diffusion在 VAE 压缩后的潜变量上进行扩散和去噪。Pixel-space diffusion直接在 RGB 像素空间预测图像或速度场。Latent-to-pixel先用潜空间模型获得先验再把模型迁移到像素空间后训练。x xx-prediction直接预测干净图像x 0 \mathbf{x}_0x0。v vv-prediction预测 flow-matching 路径上的速度。DiP轻量卷积 U-Net 式像素解码头兼顾局部连续性和计算量。NFENumber of Function Evaluations采样时调用去噪/速度网络的次数。GenEval / DPG文生图组合能力与提示遵循等维度的自动评测。ps16 / ps32 / ps64像素 patch 边长配置patch 越大视觉 token 越少。总结这篇论文最值得记住的不是某个单点指标而是一个训练阶段的重新分工潜空间适合高效学习生成先验像素空间适合承担最终细节和端到端输出。直接像素预训练会因为高维分布学习困难而收敛慢但潜空间权重、同源自生成数据、x xx-prediction、轻量 DiP 解码器和经验校准的噪声尺度可以把这道门槛拆成一系列可控的迁移步骤。再配合渐进式 patch 适配和像素空间步数蒸馏表示空间的理论优势才真正变成了可测量的部署速度。对工程团队而言最稳妥的落地路径不是立刻抛弃潜空间而是先问清楚VAE 重建损失是否已经成为业务瓶颈少步采样时解码延迟是否占主导是否有足够真实 RGB 数据和验证器支撑像素后训练当这些条件成立时latent-to-pixel 不再是一次架构赌博而是一条可以通过控制变量实验逐步验证的升级路线。对读者而言可以把这篇论文压缩成一句话潜空间帮你更快学会生成像素空间帮你更接近最终交付真正的工程能力是知道何时切换以及能否把切换后的收益接进真实业务。推荐阅读Rocky一直在运营技术交流群WeThinkIn-技术交流群这个群的初心主要聚焦于技术话题的讨论与学习包括但不限于算法、开发、竞赛、科研以及工作求职等。群里有很多人工智能行业的大牛欢迎大家入群一起学习交流请添加小助手微信Jarvis8866拉你进群1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识 深入浅出解析像素空间文生图扩散模型训练：《An Empirical Study of Training Pixel-Space Text-to-Image Diffusion Models》
写在前面欢迎大家关注Rocky的公众号WeThinkIn欢迎大家关注Rocky的知乎Rocky Ding《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book欢迎大家StarRocky最新撰写的10万字AI AgentAI智能体深入浅出全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识欢迎大家加入https://t.zsxq.com/33pJ0大家好我是Rocky。核心导读过去几年主流文生图模型几乎都在潜空间latent space里扩散先用 VAE 把 RGB 图像压缩成低分辨率特征扩散模型只在这些特征上做去噪最后再由 VAE 解码回像素。这个路线训练效率高却把生成质量和推理延迟的一部分决定权交给了 VAE压缩丢掉的细节无法凭空恢复最后一次解码也会成为超少步采样时的固定成本。这篇论文真正值得讨论的并不是“像素空间要不要取代潜空间”这样简单的二选一而是一个更接近产业一线的问题当模型从一次性 Demo 走向高并发、低延迟、可持续迭代的生产系统时训练效率、细节上限和端到端成本应该怎样重新分工Rocky 认为这是像素空间路线的核心价值也是这项工作的跨周期意义。像素空间扩散pixel-space diffusion看起来更直接模型直接预测 RGB 图像理论上绕开重建上限也能通过更大的图像 patch 减少视觉 token。但直接从像素空间做大规模预训练会遇到一个反直觉事实它学得更慢。论文《An Empirical Study of Training Pixel-Space Text-to-Image Diffusion Models》用与 Z-Image 相同的骨干、数据和算力做控制实验发现潜空间模型在整个训练过程中都更快获得物体结构和图文对齐即使训练数据超过 200 亿对像素模型仍未在相同预算内追平。这篇工作的核心判断不是“潜空间或像素空间二选一”而是把两者放到更适合的训练阶段先在潜空间高效获得生成先验再在后训练阶段迁移到像素空间。作者围绕迁移过程系统研究了权重初始化、数据组成、预测目标、解码器、噪声尺度、patch 尺寸和步数蒸馏得到一条可复用的工程配方潜空间初始化 自生成/真实数据混合 x xx-prediction DiP 解码器 γ 2 \gamma2γ2噪声尺度 渐进式增大 patch 像素空间步数蒸馏。最终在 Z-Image 和 FLUX2-klein 两个模型家族上端到端推理加速达到3.18 × 3.18\times3.18×–4.75 × 4.75\times4.75×同时保持相当或更好的生成质量。这不是一次“换模型”的故事而是一次“重排生产系统”的实验潜空间负责低成本学习像素空间负责把质量和延迟兑现到用户侧。下面沿着论文的实验顺序回答三个问题为什么像素空间预训练慢、怎样完成稳定的 latent-to-pixel 迁移以及哪些设计真正决定质量/效率边界。1. 问题背景像素空间为什么值得重新研究1.1 潜空间扩散的效率来自什么又牺牲了什么潜空间扩散的计算优势很明确。以 1024×1024 图像为例VAE 将每个空间维度缩小 8 倍再配合 latent patch size2Transformer 看到的是 64×64 的 token 网格而不是原始 RGB 像素。序列长度、注意力显存和每步网络计算都因此大幅下降。代价也同样明确。第一VAE 的重建目标通常是感知质量或像素重建不等于文生图的生成目标压缩过程中丢掉的细文字、纹理和局部边缘会形成“重建天花板”。第二潜变量分布与 RGB 分布不同扩散模型要学习的是 VAE 产生的中间表示生成结果还要经过一次解码。第三在 4 步、8 步这类超少步采样中去噪网络已经很快VAE 解码的固定延迟反而占据主要比例。像素空间模型直接以归一化 RGB 图像为状态不再依赖 VAE 解码。因此它的潜在收益包括保留压缩丢失的视觉信息把生成和输出统一在同一空间通过增大 patch 直接减少 token而不用继续提高 VAE 压缩比在蒸馏到少步采样时把每次函数评估的成本更直接地转化为端到端收益。1.2 论文的实验问题论文不试图提出一个新网络而是做一组控制变量实验在大规模 text-to-image 设置中像素空间训练到底比潜空间差在哪里如果潜空间预训练更高效能否把其获得的生成先验迁移到像素空间迁移时哪些选择是必要的哪些只是看起来合理但会造成性能或效率损失首页 teaser 展示了最终的 Z-Image-Turbo 像素空间模型在企业级 H800 上生成 1024×1024 图像约需 0.2 秒。这个结果不是单一模块带来的而是后文多项迁移和蒸馏决策共同作用的结果。图 1 的意义在于给出最终系统形态像素空间并不只是为了“避免 VAE”还要与 patch 压缩和少步蒸馏结合才能把空间选择转化成用户能感知的端到端速度收益。2. 总体思路预训练在潜空间后训练转到像素空间作者采用的路线可以写成大规模潜空间预训练 → 像素空间初始化 → 混合数据后训练 → patch 适配 → 少步蒸馏 \text{大规模潜空间预训练} \rightarrow \text{像素空间初始化} \rightarrow \text{混合数据后训练} \rightarrow \text{patch 适配} \rightarrow \text{少步蒸馏}大规模潜空间预训练→像素空间初始化→混合数据后训练→patch适配→少步蒸馏潜空间阶段主要负责学习广泛的视觉先验、物体结构和文本条件对齐像素空间阶段负责消除 VAE 重建瓶颈并让网络直接在 RGB 上完成生成。这个分工的关键是把“容易优化”和“最终输出质量”拆开不要让高维像素噪声阻碍模型获得基础语义也不要让潜变量压缩限制最终图像。从产品角度看这条链路对应两个不同的 KPI。预训练更关心单位算力能否快速获得可迁移的生成能力部署更关心单张图的尾延迟、吞吐和细节一致性。把两者强行放进同一个表示空间往往会让训练和部署同时妥协分阶段迁移则允许团队在每一段优化真正影响业务的指标。论文以 Z-Image 为主要基座并在 FLUX2-klein 上复验。控制实验统一骨干 Transformer、文本条件模块、数据处理、优化器和评测协议只改变预测空间或迁移组件。附录说明基线使用超过 20B 图文对潜变量的空间下采样因子为 8latent patch size2因此 1024×1024 对应 64×64 token像素模型使用 ps16保持相同 token 网格尽量隔离“预测空间”本身的影响。3. 大规模预训练潜空间为什么收敛更快3.1 控制实验与结果在相同架构、数据、算力和训练配置下潜空间模型在 GenEval、DPG 两条曲线上始终领先像素模型。早期差距尤其明显潜空间模型很快形成可辨认的物体结构和图文布局像素模型则需要更长时间才能从高维 RGB 噪声中建立同等规律。图 2 支持的是“训练效率差异”而不是像素空间最终能力必然更弱。相同计算预算下潜空间更快达到可用质量像素模型虽然持续提升却没有在实验窗口内弥合差距。图 3 把曲线差异转成视觉证据潜空间样例更早出现稳定的全局布局、对象身份和文本-图像对应关系像素空间样例在相同迭代点仍可能结构破碎或语义不稳定。3.2 机制解释VAE 不只是压缩器也是学习好的表示潜空间更快的根本原因不是 Transformer 在潜空间里“参数更少”这么简单。VAE 在海量图像上已经学会把局部冗余、高频变化和部分噪声折叠掉同时保留与语义、形状和外观相关的结构。扩散模型接手的是一个更紧凑、更平滑、更有感知组织的分布。像素模型必须同时完成三件事从高维 RGB 中发现全局结构学习局部纹理与颜色统计在此基础上完成条件去噪。换句话说像素空间获得了更直接的监督却失去了一个已经训练好的视觉表示。论文因此给出一个重要的阶段性结论直接像素监督适合最终生成器不一定适合大规模生成先验预训练。这也意味着像素空间并不是“更原生所以天然更先进”表示空间的价值必须放回训练预算、部署瓶颈和目标用户中判断。4. Latent-to-Pixel 迁移六个设计选择4.1 权重初始化先验可以迁移输入输出头需要重建作者比较两种像素后训练完全从头训练或从潜空间预训练模型加载 Transformer 与文本条件权重。像素特有的输入/输出模块在两种配置中都按相同方式初始化保证比较集中在共享生成先验。图 4 和图 5 共同说明潜空间权重并没有因为表示空间改变而失效。它携带的对象结构、布局能力和文本对齐可以作为像素空间优化的起点使模型在更早阶段产生可辨认图像从头训练则在相当长时间内处于不稳定状态。这里的工程边界是不能简单复制所有输入输出层。潜变量通道数、RGB 通道数和 patch 展平维度不同像素特有模块仍需重新初始化或按结构映射真正可迁移的是 Transformer 主干和条件建模能力。4.2 训练数据自生成样本负责“桥接”真实图像负责“纠错”像素后训练比较四种数据真实图像、自生成样本、另一个模型FLUX2-klein-9B生成的样本以及自生成与真实图像 1:1 混合。结果显示真实图像单独训练收敛慢来自同一潜模型的自生成样本收敛快混合数据在速度和最终质量之间最好。图 6 表明自生成数据提供了低分布偏移的“桥”它与初始化权重来自同一个条件分布像素模型不需要重新发现全部生成先验。图 7 则揭示只用自生成数据的隐患源模型和 VAE 解码器的错误会被继承例如字体畸变等伪影仍然存在。高质量真实图像提供了直接的 RGB 监督能够纠正这些错误但单独使用时优化难度更高。因此混合数据不是简单的数据增强而是两个互补信号的组合自生成样本约束模型不要偏离已有生成能力真实图像帮助模型突破 VAE 造成的信息损失。另一个模型的合成数据效果较弱也说明“与初始化模型保持分布对齐”比“只要是高质量合成图”更关键。Rocky 的判断是企业真正需要的不是“合成数据越多越好”而是可控的误差预算哪些错误可以由真实数据纠正哪些错误会在闭环中被放大哪些样本应该进入人工复核。数据混合比例本质上是质量、成本和风险之间的产品决策而不只是训练脚本里的一个超参数。4.3 预测目标迁移阶段优先x xx-prediction论文比较了v vv-prediction 与x xx-prediction。已有像素空间工作常强调x xx-prediction 的稳定性而潜空间基线通常使用v vv-prediction。实验发现稳定的潜空间初始化让两者都可以收敛但x xx-prediction 在整个训练过程中取得更好的 GenEval/DPG。图 8 的重要信息有两层初始化解决了从潜空间切换到像素空间时的部分不稳定性这并不意味着保留原目标就是最佳选择。作者在训练时把x xx-prediction 得到的干净图像转换成对应速度再使用与v vv-prediction 相同的速度空间损失、采样器和时间步分布从而让比较尽量公平。4.4 解码器DiP 是质量和成本的折中点Transformer 主干输出的特征还要经过一个像素解码头。作者固定主干比较 JiT 的线性头、DiP 的轻量卷积 U-Net、PixelDiT 的 PiT Transformer 头、Deco 频率解耦头以及 VAE 参考。解码器GenEvalDPG参数量M延迟msGFLOPsJiT0.738086.192.950.0724.16DiP0.754587.5410.096.02834.03PiT0.769786.362249.8274.9619731.88Deco0.734786.10315.925.012587.05VAE--49.5591.8810472.20PiT 的 GenEval 最高但仅解码器就有 2.25B 参数、19,731 GFLOPs约等于 6B 主干参数量的 37.5%不适合这套大规模设置。JiT 极轻却在 patch 边界产生明显网格伪影。DiP 以 10.09M 参数取得最高 DPG 和有竞争力的 GenEval卷积的局部感受野与权重共享帮助邻近 patch 在合成像素前交互减少接缝。图 9 说明解码器不是“最后随便接一层线性投影”。它决定 token 特征如何变成连续 RGB直接影响局部纹理和 patch 接缝DiP 的价值正是在可接受计算量内提供空间连续性。4.5 噪声尺度分辨率推导只能给参考不能替代校准潜变量切换到 RGB 后信号统计和空间分辨率都改变。作者沿用 flow-matching 路径引入噪声尺度γ \gammaγx t t x 0 ( 1 − t ) γ ϵ , ϵ ∼ N ( 0 , I ) \mathbf{x}_tt\mathbf{x}_0(1-t)\gamma\boldsymbol{\epsilon}, \qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I})xttx0(1−t)γϵ,ϵ∼N(0,I)若 RGB 图像相对潜变量每个空间维度放大r 8 r8r8倍并把像素平均池化回潜变量分辨率独立噪声方差会缩小约r 2 r^2r2。在“只有分辨率不同”的简化假设下匹配 SNR 会得到γ r 8 \gammar8γr8的理论参考。但 VAE 编码器不是平均池化RGB 与潜变量的信号分布、预测目标也不同。因此作者实测γ ∈ { 1 , 2 , 4 , 8 } \gamma\in\{1,2,4,8\}γ∈{1,2,4,8}γ \gammaγGenEvalDPG10.681184.0320.754587.5440.741386.0180.731685.64图 10 显示γ 1 , 4 , 8 \gamma1,4,8γ1,4,8会带来明显色偏而γ 2 \gamma2γ2在写实和风格化图像上都更平衡。结论是分辨率比例适合用来初始化搜索范围但真正的噪声尺度必须通过目标分布上的评测校准。5. 效率优化渐进式增大 patch再做步数蒸馏5.1 为什么直接 ps32 会破坏迁移在 1024×1024 生成中ps16 对应 64×64 tokenps32 变成 32×32token 数减少 4 倍ps64 进一步变成 16×16。直接增大 patch 虽然降低计算量但同时改变了预测空间和局部视觉粒度每个 token 要负责更大的区域潜空间主干学到的局部先验无法直接对齐。图 11 和图 12 支持“解耦迁移”的策略先用潜空间权重在像素 ps16 上完成稳定适配再从收敛的 ps16 模型迁移到 ps32得到ps32-adapt16。如果从潜空间直接训练 ps32模型同时面对空间表示切换和 token 粒度变化收敛慢且有局部伪影先适配 ps16 再增大 patch可以保留已学到的像素局部先验。继续从 ps32 适配到 ps64 虽再减少 4 倍 token但细节和指标会明显下降。当 patch 从p pp扩展到2 p 2p2p时一个新 patch 包含四个旧 patch。作者复制输入投影权重并用1 / 2 1/21/2缩放W ′ 1 2 [ W , W , W , W ] \mathbf{W}\frac{1}{2}[\mathbf{W},\mathbf{W},\mathbf{W},\mathbf{W}]W′21[W,W,W,W]四倍 fan-in 由1 / 2 1/21/2因子补偿近似保持激活方差其余 Transformer 与解码器参数直接继承。这个初始化把“结构变化”限制在输入投影降低了大 patch 切换时的优化冲击。5.2 步数蒸馏像素空间才能把 NFE 降低转化为端到端收益步数蒸馏把采样所需的函数评估次数NFE从 100 降到 4。潜空间模型即使 NFE 很少仍要付出一次 VAE 解码成本因此网络加速不会等比例体现到总延迟。像素模型直接输出 RGB没有这个固定尾部成本Decoupled-DMD 与 DMDR 的 NFE 降低能更直接地变成端到端速度。图 13 对应的消融链路是仅切换到像素空间约1.10 × 1.10\times1.10×加速再做更大 patch 后延迟降到 4.56 秒4.41 × 4.41\times4.41×步数蒸馏后像素模型 4 NFE 只需 0.20 秒而潜空间蒸馏模型为 0.95 秒达到4.75 × 4.75\times4.75×。与原始潜空间 100 NFE 管线相比渐进 patch 像素蒸馏的组合端到端加速可达100.6 × 100.6\times100.6×。6. 系统级结果速度提升不是以质量崩溃为代价作者把上述配方扩展到 Z-Image 和 FLUX2-klein 两个模型家族并与对应的潜空间模型及已有 latent-to-pixel 方法比较。评测包括 GenEval、DPG、OneIG、LongText均使用原始 benchmark prompt延迟是在单张 H800、1024×1024、未启用系统级优化时测量。模型NFE延迟sGenEvalDPGOneIGLongTextZ-Image潜空间10020.120.751086.910.5660.9332L2P像素空间10018.260.761286.000.4990.7798本文方法像素空间1004.564.41×0.764487.600.5640.9252Z-Image-Turbo潜空间40.950.762585.310.5200.8639本文方法-Turbo像素空间40.204.75×0.769886.850.5120.8732FLUX2-klein-Base潜空间10020.250.802784.890.5410.5456AsymFlow像素空间10021.420.818186.700.5080.4498本文方法像素空间1006.383.18×0.809686.880.5540.6632FLUX2-klein潜空间40.920.814284.360.5370.4763本文方法-Turbo像素空间40.283.29×0.818586.000.5300.6105这张表有三个值得注意的层次。第一Z-Image 像素模型在 100 NFE 下同时提高 GenEval/DPG 并把延迟从 20.12 秒降到 4.56 秒4 NFE 下也超过潜空间 Turbo 的 GenEval、DPG 和 LongText。第二FLUX2-klein 上速度提升略低但仍达到 3.18×–3.29×说明配方并不只对单一骨干有效。第三像素模型并非所有指标都绝对领先例如 FLUX2 的 AsymFlow 在 GenEval 上更高、部分 OneIG 指标接近因此更准确的结论是“多数指标竞争力相当或更好同时显著降低延迟”而不是全面碾压。7. 这项工作的边界与可复现性第一论文是经验研究结论依赖 Z-Image、FLUX2-klein、特定数据混合比例和 H800 测试环境。它证明了配方在两个模型家族上的可迁移性但不能自动推出所有 DiT、所有分辨率或所有条件模态都适用。第二超过 20B 图文对和 6B 级主干的训练成本很高。论文给出附录中的全局 batch size、学习率、patch 适配 warm-up 等关键设置但真实复现仍需要同等级数据清洗、分布式训练和评测实现。尤其是自生成数据的来源模型、采样配置和真实数据质量会影响迁移效果。第三速度口径需要谨慎。文中延迟是在单 GPU、1024×1024、未使用 FlashAttention 等系统优化下测量不同硬件、编译器、并行策略和 batch size 会改变绝对数值。3.18 × 3.18\times3.18×–4.75 × 4.75\times4.75×是论文设定下的端到端比值不应直接当成所有部署场景的承诺。真正落地时还要把排队、显存、网络传输、后处理和失败重试纳入端到端 SLO论文数字是重要信号但不是完整商业闭环。第四质量评测主要依赖 GenEval、DPG、OneIG、LongText 和定性样例。它们覆盖物体组合、文本渲染和长提示等维度但仍不能完全替代真实用户偏好、细节保真、审美、多语言和安全评测。像素空间的优势尤其可能在高频细节上体现后续需要更细粒度的重建/感知/人评拆分。换句话说模型分数证明“可行”并不自动证明用户愿意付费技术先进性和商业确定性仍然是两件事。8. 对后续研究和工程实践的启发一个直接启发是把“表示空间选择”从模型架构问题提升为训练流程问题。潜空间和像素空间承担不同阶段的职责未来也可以探索多阶段或多分辨率的表示切换而不是把全部预算押在单一空间。第二数据配方应围绕分布桥接来设计。与初始化模型一致的自生成数据能降低迁移难度但会复制错误真实数据提供纠错信号却可能让优化重新变难。可以进一步研究按难度、错误类型或语义覆盖度动态调整合成/真实比例并把 VAE 重建误差、文字区域和细节区域作为采样权重。第三patch 适配本质上是结构化的知识迁移。当前W ′ 1 2 [ W , W , W , W ] \mathbf{W}\frac12[W,W,W,W]W′21[W,W,W,W]是一种简单而有效的方差保持初始化后续可研究从注意力图、频域特征或局部纹理统计中学习更精确的 patch 合并映射争取把 ps64 的 token 压缩损失降下来。第四像素空间与蒸馏的组合值得和系统优化共同设计。像素模型移除了 VAE 固定成本但解码头、显存带宽和高分辨率 patch 仍可能成为新瓶颈。更合理的目标不是只优化 NFE而是联合考虑网络 FLOPs、内存访问、编译融合、批量吞吐和质量约束的端到端 cost model。9. Rocky 的判断像素空间不是替代而是生产系统的重排如果只把这篇论文理解为“像素空间比潜空间快”很容易在下一轮模型迭代中迷失。论文真正提供的是一套可迁移的判断框架。第一不要把表示空间当作信仰把它当作成本函数的一部分。潜空间在大规模预训练阶段的效率优势是真实的像素空间在细节上限和少步推理阶段的收益也是真实的。能否落地取决于团队当前最昂贵的瓶颈究竟是训练算力、VAE 重建、尾延迟还是数据纠错。第二不要只看一次生成的惊艳要看第十万次调用是否仍然稳定。像素空间减少了 VAE 解码这一固定环节但也把更多责任放回训练数据、解码器和系统工程。线上真正需要的是稳定的质量分布、可预测的延迟和可追踪的失败而不是一张 Demo 图。第三工具红利会被吸收判断能力会留下。更大的 patch、更新的蒸馏算法和更快的 GPU 都会迭代跨周期的能力是知道什么时候应该沿用成熟的潜空间、什么时候值得支付像素后训练成本以及如何用真实业务指标验证迁移收益。对算法工程师这是从调模型走向管成本和 SLO对产品经理这是把“生成更清晰”翻译成可感知的等待时间和可交付质量对创业团队这是把论文里的 4 倍加速兑现为单位调用成本、并发能力和客户留存。上半场奖励的是把模型训练出来下半场奖励的是把模型变成可靠的生产资源。像素空间路线的长期价值不在于它是否替代了某个 VAE而在于它提醒我们AI 竞争最终会从单点模型能力走向训练、数据、推理、硬件和产品闭环的系统能力。术语与概念速查术语含义Latent-space diffusion在 VAE 压缩后的潜变量上进行扩散和去噪。Pixel-space diffusion直接在 RGB 像素空间预测图像或速度场。Latent-to-pixel先用潜空间模型获得先验再把模型迁移到像素空间后训练。x xx-prediction直接预测干净图像x 0 \mathbf{x}_0x0。v vv-prediction预测 flow-matching 路径上的速度。DiP轻量卷积 U-Net 式像素解码头兼顾局部连续性和计算量。NFENumber of Function Evaluations采样时调用去噪/速度网络的次数。GenEval / DPG文生图组合能力与提示遵循等维度的自动评测。ps16 / ps32 / ps64像素 patch 边长配置patch 越大视觉 token 越少。总结这篇论文最值得记住的不是某个单点指标而是一个训练阶段的重新分工潜空间适合高效学习生成先验像素空间适合承担最终细节和端到端输出。直接像素预训练会因为高维分布学习困难而收敛慢但潜空间权重、同源自生成数据、x xx-prediction、轻量 DiP 解码器和经验校准的噪声尺度可以把这道门槛拆成一系列可控的迁移步骤。再配合渐进式 patch 适配和像素空间步数蒸馏表示空间的理论优势才真正变成了可测量的部署速度。对工程团队而言最稳妥的落地路径不是立刻抛弃潜空间而是先问清楚VAE 重建损失是否已经成为业务瓶颈少步采样时解码延迟是否占主导是否有足够真实 RGB 数据和验证器支撑像素后训练当这些条件成立时latent-to-pixel 不再是一次架构赌博而是一条可以通过控制变量实验逐步验证的升级路线。对读者而言可以把这篇论文压缩成一句话潜空间帮你更快学会生成像素空间帮你更接近最终交付真正的工程能力是知道何时切换以及能否把切换后的收益接进真实业务。推荐阅读Rocky一直在运营技术交流群WeThinkIn-技术交流群这个群的初心主要聚焦于技术话题的讨论与学习包括但不限于算法、开发、竞赛、科研以及工作求职等。群里有很多人工智能行业的大牛欢迎大家入群一起学习交流请添加小助手微信Jarvis8866拉你进群1. 深入浅出完整解析AI AgentAI智能体的核心基础知识2025年可以说是AI Agent全面落地应用的元年因此Rocky在持续撰写对AI Agent的全维度解析文章深入浅出完整解析AI AgentAI智能体的核心基础知识2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解同时不断跟进补充扩散模型的最新技术发展希望能给大家带来帮助深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识3. 入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识Rocky对AIGC时代“中场时刻”之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值入浅出完整解析FLUX.2、Seedream即梦、Z-image、GLM-Image核心基础知识4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识5. 深入浅出完整解析DeepSeek系列核心基础知识Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析深入浅出完整解析DeepSeek系列核心基础知识6. 深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion 3SD 3和FLUX.1系列核心基础知识7. 深入浅出完整解析Stable Diffusion XLSDXL核心基础知识Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析深入浅出完整解析Stable Diffusion XLSDXL核心基础知识8. 深入浅出完整解析Stable DiffusionSD核心基础知识Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析深入浅出完整解析Stable DiffusionSD核心基础知识9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析包括其在传统深度学习中的价值和在AIGC中的价值深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识10. 深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识对于AIGC时代中的“ResNet”——LoRA模型Rocky进行了深入浅出的全面讲解深入浅出完整解析LoRALow-Rank Adaptation模型核心基础知识11. 深入浅出完整解析ControlNet核心基础知识AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。ControlNet正是让AI图像创作社区无比繁荣的关键一环它让AIGC图像创作过程更加的可控更有助于广泛地将AIGC算法解决方案应用到各行各业中深入浅出完整解析ControlNet核心基础知识12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识AI绘画和AI视频是两个互相促进、相互交融的领域2024年无疑是AI视频领域的爆发之年Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识13. 深入浅出完整解析AIGC时代Transformer核心基础知识在AIGC时代中Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向成为AI技术架构大一统与多模态整合的关键核心基座大有一统“AI江湖”之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析深入浅出完整解析AIGC时代Transformer核心基础知识14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识AIGC创作框架正是AIGC算法工作流的运行载体目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等。在传统深度学习时代PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架到了AIGC时代Rocky相信ComfyUI就是AIGC时代的“PyTorch”、Stable Diffusion WebUI就是AIGC时代的“TensorFlow”、Diffusers就是AIGC时代的“Caffe”深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识在AIGC时代中如何快速转身入局AIGC产业如何成为AIGC/LLM/AI Agent算法/开发工程师如何在学校中系统性学习AIGC/LLM/AI Agent知识斩获心仪的AIGC/LLM/AI Agent算法/开发offerDon‘t worryRocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍为大家答疑解惑希望能给大家带来帮助手把手教你成为AIGC/LLM/AI Agent算法/开发工程师斩获AIGC/LLM/AI Agent算法/开发offer16. AIGC产业的深度思考与分析2023年3月21日微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示自从1980年首次看到图形用户界面graphical user interface以来以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。Rocky也认为AIGC及其生态会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期未来随着AIGC的全面落地和深度商用会深刻改变我们的工作、生活、学习以及交流方式各行各业都将被重新定义过程会非常有趣。那么在此基础上我们该如何更好的审视AIGC的未来我们该如何更好地拥抱AIGC引领的革新Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点希望能帮助各位读者对AIGC有一个全面的了解深入浅出全面解析AIGC时代核心价值与发展趋势2025年版17. AI算法工程师的独孤九剑秘籍为了方便大家实习、校招以及社招的面试准备同时帮助大家提升扩展技术基本面Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍持续更新中18. 深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识GAN系列模型作为传统深度学习时代的最热门生成式Al模型在AIGC时代继续繁荣作为Stable Diffusion/FLUX系列大模型的“得力助手”广泛活跃于AlGC图像创作的产品与工作流中深入浅出完整解析AIGC时代中GANGenerative Adversarial Network系列模型核心基础知识