过去一年多模态大模型的发展路径似乎陷入了一种惯性思维理解任务用 Encoder 架构生成任务用 Decoder 架构两者泾渭分明。这种割裂带来的直接后果是同一个团队要维护两套模型、两套训练流程甚至两套技术栈。更麻烦的是理解和生成之间的能力无法自然流动——理解模型学到的知识很难直接助力生成任务反之亦然。就在大家逐渐接受这种“分工”时复旦大学和阿里的研究团队提出了 UniARUnified Autoregressive Modeling试图用一个统一的视觉 Tokenizer 打通多模态的理解与生成。这个方案最吸引人的地方不是某个单项指标的提升而是它挑战了一个根本问题我们是否真的需要为理解和生成设计两套完全不同的视觉表示体系UniAR 的核心思路很清晰既然自然语言处理中文本的 Tokenizer 既能用于理解也能用于生成为什么视觉表示不能走同样的路它用一个离散化的视觉 Tokenizer 将图像转换为 token 序列然后直接用自回归的方式统一处理理解和生成任务。这种方法看似简单却直接动摇了多模态建模的底层假设。1. 为什么多模态的理解与生成长期“分家”要理解 UniAR 的价值得先看清当前多模态模型的典型困境。1.1 技术路径的历史惯性在自然语言处理领域BERT 为代表的 Encoder 架构在理解任务上表现出色GPT 系列的 Decoder 架构则在生成任务上独占鳌头。当研究扩展到多模态时这种分工思维被直接平移过来理解任务如图像描述、视觉问答通常采用 Encoder 架构由视觉 Encoder 提取特征文本 Decoder 输出结果生成任务如文本生成图像则更多使用 Decoder 架构从文本条件生成视觉内容这种分工在早期确实合理——不同任务需要不同的归纳偏置。但随着模型规模扩大和任务复杂度增加维护两套系统的成本变得越来越高。1.2 表示层面的根本差异更深层的问题在于视觉表示本身。传统方法中理解任务依赖连续的高维特征表示保留丰富的语义信息生成任务偏好离散的、压缩的表示便于自回归生成这种表示层面的不兼容导致理解和生成模型之间几乎无法共享视觉编码器。即使强行共享也往往需要在表示质量上做出妥协。1.3 工程落地的实际痛点在实际部署中这种割裂带来的问题更加明显资源浪费需要为理解和生成分别准备模型权重、计算资源知识隔离理解模型学到的视觉概念无法直接用于生成任务流程复杂多模态应用需要频繁在两种模式间切换增加系统复杂度正是这些痛点让统一多模态建模范式成为一个值得深入探索的方向。2. UniAR 如何用单一视觉 Tokenizer 实现统一UniAR 的方案本质上是对多模态建模的一次“简化”——通过统一视觉表示降低系统复杂度。2.1 核心设计离散视觉 TokenizerUniAR 最关键的创新是设计了一个离散视觉 Tokenizer其工作流程如下图像分词将输入图像分割为 patch通过卷积或 Transformer 编码为视觉 token离散化通过矢量量化Vector Quantization将连续特征映射到离散码本序列化将二维视觉 token 展平为一维序列与文本 token 交错排列这个过程类似于文本处理中的分词但针对图像特性做了优化# 概念性代码展示视觉 Tokenizer 的基本思路 class VisualTokenizer: def encode(self, image): # 1. 图像分块 patches split_image_into_patches(image) # 2. 特征提取 features visual_encoder(patches) # 3. 矢量量化 discrete_tokens vector_quantize(features, codebook) return discrete_tokens def decode(self, tokens): # 从离散 token 重建图像 features lookup_codebook(tokens) image visual_decoder(features) return image2.2 统一的自回归架构有了离散视觉 Tokenizer 后UniAR 采用纯自回归架构处理多模态序列序列构造将图像 token 和文本 token 拼接成统一序列任务统一无论是理解还是生成都转化为下一个 token 预测问题训练统一使用标准的语言建模损失无需任务特定的优化目标这种设计的巧妙之处在于它避免了传统多模态模型中的模态对齐复杂度。模型只需要学习一个简单的目标给定前面的 token预测下一个 token。2.3 灵活的提示机制UniAR 通过不同的提示prompt设计支持多种任务# 图像描述任务 prompt [图像token] [文本描述这张图像:] target [描述文本] # 视觉问答任务 prompt [图像token] [文本问题:图像中有几只猫?答案:] target [答案文本] # 文本生成图像任务 prompt [文本生成一张有山的风景画:] [图像token] target [图像token]这种灵活性使得同一个模型能够处理截然不同的多模态任务而无需修改模型架构。3. 从技术细节看 UniAR 的实用价值UniAR 不仅在学术上有创新在工程实践上也提供了切实可行的解决方案。3.1 训练效率的显著提升传统方案需要分别训练理解模型和生成模型而 UniAR 只需一次训练就能获得双重能力训练方案模型数量训练周期参数利用率传统分离式2个2倍时间低UniAR统一式1个1倍时间高这种效率提升在大型模型训练中尤为关键能够大幅降低计算成本和时间成本。3.2 部署复杂度的降低在实际部署中UniAR 的优势更加明显单一模型服务无需维护两套模型服务统一推理接口所有任务使用相同的 API 格式资源动态分配根据任务需求灵活分配计算资源对于需要同时支持理解和生成任务的业务场景这种简化能够显著降低运维复杂度。3.3 知识迁移的自然实现由于理解和生成共享同一套视觉表示两者之间的知识迁移变得自然而然理解任务中学到的视觉概念可以直接用于生成任务生成任务中积累的创作经验能够反哺理解能力模型在跨任务学习中形成更全面的视觉理解这种双向的知识流动是分离式架构难以实现的。4. 实际应用中的考量与挑战虽然 UniAR 的理念很有吸引力但在实际落地时还需要考虑几个关键问题。4.1 视觉质量与语义保真度的平衡离散视觉 Tokenizer 需要在压缩效率和重建质量之间找到平衡点注意token 数量过少会导致细节丢失过多则会增加序列长度和计算成本。通常需要根据具体任务需求调整 token 数量和质量。在实践中可以先从中等规模的码本开始如 8192 个视觉词然后根据输出质量逐步调整。4.2 长序列处理的优化多模态序列往往比纯文本序列长得多这对自回归模型提出了挑战序列长度高分辨率图像可能产生数千个视觉 token计算复杂度自回归注意力是序列长度的平方复杂度内存限制长序列容易触发 GPU 内存瓶颈解决方案包括使用线性注意力机制降低计算复杂度采用分块处理策略处理超长序列优化 KV 缓存减少内存占用4.3 任务间干扰与负迁移统一模型面临的一个潜在风险是任务间干扰某些任务的训练数据可能对其他任务产生负面影响不同任务的最优表示可能存在冲突模型可能在多个任务上都表现平庸缓解策略包括精心设计训练数据的混合比例采用课程学习逐步引入不同任务使用适配器或提示调优进行任务特定优化5. 从 UniAR 看多模态建模的未来方向UniAR 代表的统一建模范式为多模态 AI 的发展提供了新的思路。5.1 架构简化的趋势从复杂的多模块设计到统一的序列建模这一趋势与自然语言处理的发展路径相似。未来的多模态模型可能会进一步简化模态无关同一架构处理视觉、文本、音频等多种模态任务无关通过提示机制支持任意多模态任务尺度扩展模型规模继续扩大能力边界不断拓展5.2 训练范式的演进统一架构也推动了训练范式的变化自监督学习利用大规模未标注多模态数据预训练指令调优通过指令学习统一不同任务的表达形式持续学习模型能够不断吸收新任务而不遗忘旧能力5.3 应用生态的重构当理解和生成能力真正统一后多模态应用的设计空间将大大扩展创作助手既能理解用户需求又能生成满足需求的视觉内容交互系统实现真正的多轮、多模态对话教育工具同时具备解释知识和生成示例的能力这种能力融合将催生新一代的多模态应用。UniAR 的价值不在于它在某个基准测试上刷新了纪录而在于它挑战了多模态建模的固有假设。通过统一的视觉 Tokenizer 和自回归架构它证明了理解和生成可以共享同一套表示体系和学习机制。对于实践者来说这个方向最值得关注的是它的工程友好性——简化架构、降低复杂度、提高资源利用率。虽然目前仍有一些技术挑战需要克服但统一建模范式无疑为多模态 AI 的规模化应用提供了更可行的路径。在探索多模态技术时我们或许应该少一些“什么任务用什么架构”的预设多一些“如何用最简单的方式解决最多问题”的思考。这才是 UniAR 带给我们的真正启示。