1. 项目概述当大语言模型“睁开双眼”最近在折腾多模态大模型特别是如何让像LLaMA、Qwen这类纯文本的大语言模型LLM具备“看”的能力。我们常说的“Vision Language Model”VLM已经不算新鲜但大部分开源方案比如LLaVA处理的都是“单图单轮对话”的场景。这在实际应用中限制很大——想象一下你给模型一张产品外观图它描述得头头是道但你接着问“和上一张图里的型号相比这个新设计改进了哪里”模型立刻就懵了因为它没有“记住”或“对比”多张图片的能力。这正是“Vision Language Multi Image”这个方向要解决的核心问题。它不是一个具体的模型名称而是一类任务或技术框架的统称目标是让大语言模型能够同时或连续地处理、理解、关联多张输入图像并基于此进行复杂的推理和对话。这背后的需求非常实在产品多角度对比、医疗影像序列分析、监控视频关键帧理解、设计稿迭代评审……任何需要跨图像进行综合判断的场景都离不开这项能力。目前社区里并没有一个像“vLLM”一个高性能LLM推理和服务库对于纯文本LLM那样成为事实标准的“多图像VLM”一站式解决方案。更多的是一种“组合拳”式的技术实践。我最近就在基于一些开源组件搭建一个能处理多图对话的推理服务原型核心思路是利用强大的视觉编码器如CLIP-ViT为每张图片提取特征再通过一个精心设计的“多图融合模块”将这些特征整合成一个LLM能理解的序列最后交给大语言模型如Qwen2.5-7B进行文本生成。这个过程踩了不少坑也总结出一些让多图理解更稳定、更高效的门道。接下来我就把这个从零搭建“多图像视觉语言模型”服务的技术路线、核心实现细节以及避坑指南完整地分享出来。2. 核心架构设计与技术选型要让LLM处理多图绝不是简单地把几张图的特征拼接起来扔给模型那么简单。整个架构需要解决几个关键问题1如何高效编码单张图像2如何让模型区分不同图片的特征3如何组织输入序列让LLM理解“这是多张图且它们之间有顺序或关联”4如何控制巨大的视觉特征带来的计算和内存开销2.1 整体技术栈拆解我采用的是一种目前比较主流且灵活的“编码器-融合器-LLM”三层架构视觉编码器 (Vision Encoder)负责将每张输入的RGB图像转换成一个高维的特征向量或称“视觉令牌”。这里我选择了OpenAI的CLIP-ViT-L/14。选择它的理由很充分首先CLIP模型在广泛的图文对数据上训练过其视觉编码器提取的特征本身就富含语义信息与语言空间对齐得很好这为后续LLM的理解打下了坚实基础。其次它的开源实现成熟预训练权重容易获取且性能稳定。多图特征融合模块 (Multi-Image Feature Fusion)这是整个系统的“大脑”也是最需要精心设计的部分。它的任务是将N张图片的特征假设每张图被编码成L个视觉令牌整合成一个固定长度或动态长度的融合特征序列。我尝试了三种主流方案简单拼接 (Naive Concatenation)把N张图的视觉令牌直接首尾相连形成一个长度为N*L的超长序列。问题显而易见序列长度爆炸极大增加LLM的计算负担注意力复杂度是序列长度的平方而且模型难以区分不同图片的边界。均值池化 (Mean Pooling)对N张图的特征在“图片数量”维度上取平均得到一个长度为L的序列。这虽然控制了长度但严重损失了信息特别是当图片内容差异大时平均操作会导致特征“模糊化”模型无法进行精细的对比。可学习的融合器 (Learnable Fusion Network)我最终采用的是这种方式。具体来说我设计了一个轻量级的Transformer编码器作为融合器。首先为每张图片的特征序列添加一个可学习的“图片类型”嵌入Image Type Embedding比如[IMG_A],[IMG_B]让模型能区分特征来自哪张图。然后将所有带标记的特征序列输入这个小型Transformer。这个Transformer的自注意力机制允许不同图片的令牌之间进行交互从而学习到图片间的关联。最后我取这个Transformer输出的[CLS]令牌或在序列开头添加的一个特殊融合令牌作为整个多图输入的汇总表示。这种方式既能保留每张图的细节又能建模图间关系且输出长度固定非常适合喂给下游LLM。大语言模型 (Large Language Model)接收融合后的视觉特征序列和用户文本指令生成回复。我选择了Qwen2.5-7B-Instruct。原因在于Qwen系列对多模态扩展支持友好社区活跃7B参数量在消费级显卡如RTX 4090上可以流畅进行INT4量化推理其指令跟随能力很强适合对话场景。我们需要对LLM的输入嵌入层进行微调使其能接受我们融合模块输出的“视觉令牌”。连接器与训练策略视觉特征和LLM的文本嵌入空间并不直接匹配。我们需要一个“连接器”通常是一个线性层或MLP将融合后的视觉特征投影到LLM的文本嵌入空间。整个训练分为两阶段第一阶段冻结视觉编码器和LLM只训练融合模块和连接器使用图像-文本对数据让模型学会将视觉信号对齐到语言空间第二阶段解锁LLM的部分层通常是后若干层进行端到端的微调让LLM学会基于视觉信息生成文本。2.2 为什么不用现成的多图VLM你可能会问为什么不直接用MiniGPT-v2、CogVLM2这些已经支持多图的模型确实它们开箱即用。但我的目标是深入理解并掌握构建这类系统的核心技术以便在未来面对特定业务场景如要求极低延迟、特定类型的图像理解时能够进行定制化改造。从零搭建让你对数据流、瓶颈、可优化点了如指掌。例如你会发现80%的推理时间花在视觉编码器上那么针对业务图片是否可以用更轻量的编码器融合Transformer的层数是不是可以减少这些优化在“黑盒”模型里是很难进行的。3. 实操搭建从特征提取到服务部署理论讲完了我们动手实现一个最核心的流程。这里我使用PyTorch框架和Hugging Face的transformers库。3.1 环境准备与依赖安装首先确保你的环境有足够的GPU内存建议16GB以上。我们创建虚拟环境并安装核心包。# 创建并激活环境 conda create -n multi-vlm python3.10 conda activate multi-vlm # 安装PyTorch (请根据你的CUDA版本调整) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装Transformer库和相关依赖 pip install transformers accelerate sentencepiece einops pip install pillow requests # 用于图像处理3.2 视觉编码与特征提取我们使用transformers中的CLIP模型来提取特征。注意我们只使用其视觉部分ViT。import torch from PIL import Image from transformers import CLIPProcessor, CLIPVisionModel device torch.device(cuda if torch.cuda.is_available() else cpu) # 加载CLIP的视觉模型和处理器 model_name openai/clip-vit-large-patch14 vision_model CLIPVisionModel.from_pretrained(model_name).to(device) processor CLIPProcessor.from_pretrained(model_name) def extract_image_features(image_paths): 批量提取多张图像的视觉特征。 Args: image_paths: list of str, 图片路径列表。 Returns: torch.Tensor: 形状为 [num_images, num_patches1, hidden_size] 的特征序列。 其中 num_patches1 包含了[CLS]令牌。 images [Image.open(path).convert(RGB) for path in image_paths] # 使用处理器准备模型输入 inputs processor(imagesimages, return_tensorspt).to(device) with torch.no_grad(): # 特征提取时无需梯度 vision_outputs vision_model(**inputs) # vision_outputs.last_hidden_state 形状: [batch_size, 197, 1024] # 对于ViT-L/14, 197 1个[CLS]令牌 196个图像块令牌 features vision_outputs.last_hidden_state return features # [N, 197, 1024] # 示例提取两张图片的特征 img_feats extract_image_features([image1.jpg, image2.jpg]) print(f提取到的特征形状: {img_feats.shape}) # 输出: torch.Size([2, 197, 1024])关键点解析CLIPVisionModel的输出last_hidden_state包含了所有图像块patch的编码其中第一个令牌索引0是全局的[CLS]令牌通常用于代表整张图片的语义。这里我们选择使用完整的序列197个令牌而不是只用[CLS]令牌是为了保留更多的空间和细节信息供后续的融合模块学习。with torch.no_grad()非常重要在推理和特征提取阶段禁用梯度计算可以大幅减少内存占用并提升速度。3.3 实现多图融合模块接下来是实现核心——可学习的多图融合Transformer。我们将其设计为一个轻量级的模块。import torch.nn as nn import torch.nn.functional as F class MultiImageFusionTransformer(nn.Module): def __init__(self, visual_feat_dim1024, fusion_dim512, num_layers2, num_heads8, max_images4): super().__init__() self.max_images max_images # 投影层将CLIP的视觉特征维度(1024)映射到融合模块的内部维度(512) self.visual_proj nn.Linear(visual_feat_dim, fusion_dim) # 可学习的图像类型嵌入用于区分不同图片 self.image_type_embeddings nn.Embedding(max_images, fusion_dim) # 可学习的位置嵌入针对每个图像块 self.position_embeddings nn.Parameter(torch.zeros(1, 197, fusion_dim)) # 轻量级Transformer编码器层 encoder_layer nn.TransformerEncoderLayer( d_modelfusion_dim, nheadnum_heads, dim_feedforwardfusion_dim * 4, batch_firstTrue, activationgelu ) self.fusion_transformer nn.TransformerEncoder(encoder_layer, num_layersnum_layers) # 一个特殊的可学习令牌用于聚合多图信息 self.fusion_token nn.Parameter(torch.randn(1, 1, fusion_dim)) # 输出投影层将融合后的特征映射回LLM的嵌入空间假设LLM隐藏层为4096 self.output_proj nn.Linear(fusion_dim, 4096) def forward(self, visual_features): Args: visual_features: [batch_size, num_images, num_patches, visual_feat_dim] 假设batch_size1即一次处理一组多图。 Returns: fused_embeddings: [1, 4096] 融合后的特征准备输入LLM。 batch_size, num_images, num_patches, feat_dim visual_features.shape assert num_images self.max_images, f输入图片数{num_images}超过最大限制{self.max_images} # 1. 投影视觉特征 proj_feats self.visual_proj(visual_features) # [1, N, 197, fusion_dim] # 2. 添加图像类型嵌入 image_ids torch.arange(num_images, devicevisual_features.device).view(1, -1, 1, 1) image_type_emb self.image_type_embeddings(image_ids) # [1, N, 1, fusion_dim] # 广播到所有图像块 image_type_emb image_type_emb.expand(-1, -1, num_patches, -1) proj_feats proj_feats image_type_emb # 3. 添加位置嵌入对所有图片共享同一套位置编码 proj_feats proj_feats self.position_embeddings # 4. 重塑序列将多图序列展平 # 从 [1, N, 197, D] - [1, N*197, D] seq_features proj_feats.view(batch_size, num_images * num_patches, -1) # 5. 在序列开头添加融合令牌 fusion_token self.fusion_token.expand(batch_size, -1, -1) # [1, 1, D] transformer_input torch.cat([fusion_token, seq_features], dim1) # [1, 1N*197, D] # 6. 通过Transformer融合 fused_seq self.fusion_transformer(transformer_input) # [1, 1N*197, D] # 7. 取出融合令牌对应的输出作为多图汇总特征 fused_feature fused_seq[:, 0, :] # [1, D] # 8. 投影到LLM空间 output_embeddings self.output_proj(fused_feature) # [1, 4096] return output_embeddings # 初始化融合模块 fusion_module MultiImageFusionTransformer().to(device) # 假设我们有2张图片的特征形状为[1, 2, 197, 1024] sample_visual_feats torch.randn(1, 2, 197, 1024).to(device) fused_emb fusion_module(sample_visual_feats) print(f融合后特征形状: {fused_emb.shape}) # 输出: torch.Size([1, 4096])设计思路与避坑点图像类型嵌入 (Image Type Embedding)这是让模型区分不同图片的关键。没有它模型会把所有图像块混为一谈无法进行“请比较第一张图和第二张图”这类需要定位的操作。融合令牌 (Fusion Token)借鉴了BERT的[CLS]思想。我们让一个可学习的令牌与所有图像块令牌交互并通过自注意力机制聚合全局信息其最终状态自然成为了多图内容的“摘要”。轻量级Transformer这里只用了2层。因为它的任务不是从头理解图像而是在已经编码好的高质量视觉特征上进行关系建模。层数过多容易过拟合且增加计算量。维度匹配最后output_proj层的输出维度必须与你选用的LLM的隐藏层维度一致例如Qwen2.5-7B是4096。这是连接视觉与语言的关键桥梁。3.4 整合LLM与推理流程现在我们需要将融合后的视觉特征“注入”到LLM的输入中。通常我们在用户文本指令前插入一个特殊的视觉令牌如image并在该令牌的位置用我们的视觉嵌入进行替换。from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig # 加载LLM和分词器 llm_model_name Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(llm_model_name, trust_remote_codeTrue) llm_model AutoModelForCausalLM.from_pretrained( llm_model_name, torch_dtypetorch.float16, # 使用半精度节省显存 device_mapauto, trust_remote_codeTrue ) llm_model.eval() # 设置为评估模式 # 定义特殊的视觉占位符 VISION_TOKEN image # 我们需要将这个token加入到分词器的词汇表中如果不存在 if VISION_TOKEN not in tokenizer.get_vocab(): num_added_tokens tokenizer.add_special_tokens({additional_special_tokens: [VISION_TOKEN]}) # 重要需要调整LLM模型输入嵌入层的大小以适配新token llm_model.resize_token_embeddings(len(tokenizer)) print(f添加了 {num_added_tokens} 个新令牌。) def generate_response_from_images(image_paths, user_query): 完整的多图问答推理流程。 # 1. 提取视觉特征 with torch.no_grad(): visual_features extract_image_features(image_paths) # [N, 197, 1024] visual_features visual_features.unsqueeze(0) # 增加batch维度 - [1, N, 197, 1024] # 2. 多图融合 visual_embeddings fusion_module(visual_features) # [1, 4096] # 3. 构建文本提示插入视觉占位符 # 通常格式系统提示 视觉令牌 用户问题 system_prompt 你是一个能够分析多张图片的助手。请根据提供的图片回答问题。 prompt f{system_prompt}\n{VISION_TOKEN}\n用户: {user_query}\n助手: # 4. 分词并定位视觉占位符的位置 inputs tokenizer(prompt, return_tensorspt).to(device) input_ids inputs[input_ids] # 找到 VISION_TOKEN 在输入序列中的位置 vision_token_id tokenizer.convert_tokens_to_ids(VISION_TOKEN) vision_token_positions (input_ids[0] vision_token_id).nonzero(as_tupleTrue)[0] if len(vision_token_positions) 0: raise ValueError(提示词中未找到视觉占位符。) # 假设只有一个视觉占位符 vision_pos vision_token_positions[0].item() # 5. 获取LLM的输入嵌入并将视觉嵌入替换到对应位置 with torch.no_grad(): # 获取文本嵌入 inputs_embeds llm_model.get_input_embeddings()(input_ids) # 将视觉嵌入形状[1, D]广播到与文本嵌入相同的维度并替换到指定位置 # 注意visual_embeddings 需要与 inputs_embeds 在序列长度维度上对齐 # 我们通常用视觉嵌入替换掉占位符那个位置的嵌入 inputs_embeds[0, vision_pos] visual_embeddings[0] # 6. 生成回复 generation_config GenerationConfig( max_new_tokens512, temperature0.7, top_p0.9, do_sampleTrue, pad_token_idtokenizer.pad_token_id, eos_token_idtokenizer.eos_token_id ) with torch.no_grad(): outputs llm_model.generate( inputs_embedsinputs_embeds, generation_configgeneration_config, attention_maskinputs[attention_mask] ) # 7. 解码生成结果 # 跳过输入部分只解码新生成的token generated_ids outputs[0][input_ids.shape[-1]:] response tokenizer.decode(generated_ids, skip_special_tokensTrue).strip() return response # 示例调用假设融合模块已训练好 # response generate_response_from_images([cat1.jpg, cat2.jpg], 这两只猫的主要毛色有什么区别) # print(response)核心技巧与注意事项嵌入替换这是将视觉信息注入LLM的标准做法。我们不是修改模型结构而是动态地修改输入给模型的嵌入向量。llm_model.get_input_embeddings()(input_ids)获取了文本的嵌入矩阵我们在vision_pos位置将其替换为我们的视觉嵌入。占位符处理确保VISION_TOKEN是分词器中一个唯一的令牌。复杂的提示模板可能包含多个视觉令牌需要仔细处理每个令牌的位置。批处理上述示例为了清晰处理的是单批次一组多图。在实际服务中需要处理多批次且每批次图片数量可能不同的情况这需要对融合模块和嵌入替换逻辑进行更复杂的批处理适配。训练模式推理时务必使用with torch.no_grad()和model.eval()来禁用梯度计算和Dropout等训练层以保证结果一致性和性能。4. 训练策略与数据构建一个能用的多图VLM离不开训练。由于缺乏现成的“多图-文本”对话数据集我们通常需要自己构建或利用现有数据集进行组合。4.1 两阶段训练法第一阶段预训练连接器与融合模块目标让模型学会将视觉特征“对齐”到语言模型的空间。数据使用大规模的图像-文本对数据集如COCO、Flickr30k。我们将单张图片的文本描述作为目标。但在输入时我们可以将同一张图片复制多份作为“多图”输入或者使用同一描述下的不同图片作为输入。这样模型学习到的是“多组视觉特征对应同一段文本描述”的映射关系初步建立了多视觉特征到语言的桥梁。训练冻结视觉编码器和LLM只训练MultiImageFusionTransformer和output_proj连接器。损失函数使用标准的因果语言建模损失Cross-Entropy Loss让LLM根据我们提供的视觉嵌入来生成对应的文本描述。第二阶段指令微调目标让模型学会遵循复杂的多图指令进行对话和推理。数据这是难点。可以合成数据利用强大的GPT-4V或Claude-3等闭源多模态模型输入多张图片和一个种子问题让其生成复杂的问答对、对比描述等。然后使用这些生成的数据来微调我们自己的开源模型。这是目前社区的主流做法。重组现有数据从VQA-v2、Visual Dialog等数据集中筛选出涉及同一主题多张图片的样本或者将多个单图QA样本组合成一个多图QA样本并人工或规则化地重写问题如“描述图片”改为“比较这两张图片中的XX”。训练解冻LLM的最后几层例如最后6-8层与融合模块、连接器一起进行端到端的微调。使用指令遵循常用的损失函数如SFT监督微调损失。4.2 一个简单的训练循环示例第一阶段import torch.optim as optim from torch.utils.data import Dataset, DataLoader # 假设我们有一个简单的数据集返回多图特征和文本 class MultiImageCaptionDataset(Dataset): def __init__(self, ...): # 初始化加载图像路径和对应描述 pass def __getitem__(self, idx): # 返回visual_feats (Tensor), caption_tokens (Tensor) pass def train_connector(): fusion_module.train() # 冻结视觉编码器和LLM for param in vision_model.parameters(): param.requires_grad False for param in llm_model.parameters(): param.requires_grad False optimizer optim.AdamW(fusion_module.parameters(), lr1e-4) dataset MultiImageCaptionDataset(...) dataloader DataLoader(dataset, batch_size4, shuffleTrue) for epoch in range(5): for batch_idx, (visual_feats, caption_ids) in enumerate(dataloader): visual_feats visual_feats.to(device) caption_ids caption_ids.to(device) # 1. 融合多图特征 visual_embeddings fusion_module(visual_feats) # [B, D] # 2. 准备LLM输入将视觉嵌入插入到输入开始位置 # 假设我们将视觉嵌入放在文本序列的最前面 batch_size visual_embeddings.shape[0] # 获取文本的嵌入 text_embeddings llm_model.get_input_embeddings()(caption_ids[:, 1:]) # 忽略第一个token # 拼接视觉嵌入 文本嵌入 inputs_embeds torch.cat([visual_embeddings.unsqueeze(1), text_embeddings], dim1) # 3. 前向传播计算损失 # 注意需要构建对应的attention mask outputs llm_model(inputs_embedsinputs_embeds, labelscaption_ids) loss outputs.loss # 4. 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() if batch_idx % 100 0: print(fEpoch {epoch}, Batch {batch_idx}, Loss: {loss.item():.4f})训练心得学习率要小连接器训练阶段学习率通常设置得比较小如1e-4到5e-5因为视觉特征已经很好我们只是学习一个投影和简单的融合关系。注意力掩码在拼接视觉和文本嵌入时必须正确构建注意力掩码attention mask确保视觉部分可以看到所有视觉令牌和文本令牌如果采用双向注意力而文本部分遵循因果掩码只能看到前面的token。梯度检查训练初期检查融合模块和连接器的梯度是否正常流动。如果梯度为0或爆炸需要检查网络结构或初始化。5. 性能优化与常见问题排查在实际部署和测试中你会遇到各种性能问题和诡异现象。下面是我总结的一些核心优化点和排查清单。5.1 推理速度优化多图VLM的推理瓶颈通常不在LLM而在视觉编码和多图融合。视觉编码优化使用更快的编码器CLIP-ViT-L/14精度高但速度慢。可以考虑使用ViT-B/16或EVA-CLIP系列它们在速度和精度间有更好的平衡。对于特定领域如医疗使用在该领域预训练的轻量编码器可能更有效。特征缓存如果图片是静态的如商品图可以预先提取所有图片的特征并缓存到数据库或内存中。推理时直接读取特征省去编码时间。使用TensorRT或ONNX Runtime将视觉编码器转换为优化后的推理引擎格式能获得显著的加速。融合模块优化减少Transformer层数如之前所述融合模块的Transformer层数num_layers对性能影响大。从2层减到1层甚至用简单的MLP或注意力池化代替在精度损失可接受的情况下是值得的。减少视觉令牌数量不一定需要全部的197个令牌。可以只使用[CLS]令牌或者在ViT的中间层进行空间池化将序列长度从197降到49或更少能大幅降低融合模块的计算量。LLM推理优化量化使用GPTQ、AWQ或bitsandbytes对LLM进行4-bit或8-bit量化能将显存占用降低50%-75%推理速度提升明显。使用vLLM等推理引擎对于纯文本生成部分可以集成vLLM库。它通过PagedAttention等技术极大地提高了生成吞吐量。但需要注意vLLM主要优化文本LLM我们的多图输入需要适配其接口。5.2 效果问题排查问题现象可能原因排查与解决方案模型完全忽略图片回答与图片无关1. 视觉嵌入未正确注入或位置错误。2. 连接器投影层训练不足视觉特征未对齐到语言空间。3. LLM权重被冻结得太死。1.检查嵌入替换打印vision_pos和inputs_embeds的形状确认视觉嵌入被放在了正确的位置。2.检查训练数据确保预训练阶段使用了足够多和高质量的图文对。3.解冻更多LLM层在指令微调阶段尝试解冻LLM的最后10层甚至更多。模型能描述单张图但无法进行跨图比较1. 融合模块能力不足未能有效建模图间关系。2. 训练数据缺乏真正的多图对比样本。1.增强融合模块增加融合Transformer的层数或头数或尝试更复杂的融合架构如交叉注意力。2.构造对比数据在指令微调数据中大量加入“比较A和B的XX”、“找出两张图的不同点”这类样本。生成内容重复或逻辑混乱1. 生成参数temperature,top_p设置不当。2. 输入序列过长导致模型注意力分散。1.调整生成参数降低temperature如0.3增加确定性调整top_p如0.9。2.简化视觉输入尝试减少每张图使用的视觉令牌数量或使用更强大的融合模块来提炼信息。处理图片数量增加时效果下降或OOM1. 序列长度线性增长注意力计算量平方增长。2. 融合模块未对可变长度做良好设计。1.固定长度融合坚持使用融合令牌方案无论输入多少图输出长度固定。2.分组合并如果图片太多如10张可以先对图片进行聚类或分组分别融合后再进行高层融合。5.3 内存管理技巧梯度检查点在训练融合模块和LLM时如果遇到GPU内存不足可以在Transformer层中启用梯度检查点Gradient Checkpointing用计算时间换内存空间。llm_model.gradient_checkpointing_enable()混合精度训练使用torch.cuda.amp进行自动混合精度训练可以有效减少显存占用并加速训练。卸载到CPU对于视觉编码器在特征提取后立即将特征.cpu()在融合前再.to(device)可以缓解GPU内存压力尤其当批量处理大量图片时。搭建一个可用的多图像视觉语言模型服务就像教一个盲人同时触摸多件物品并描述它们之间的关系。从特征编码、融合建模到语言生成每一步都需要精心设计。这条路没有标准答案但通过理解底层原理、动手实践并不断迭代你不仅能获得一个强大的工具更能深入多模态AI的核心。我个人的体会是最大的挑战往往不在模型本身而在数据的构建和工程落地的细节里。从简单的图片描述到复杂的多图推理这中间需要注入的是大量贴近真实场景的、高质量的“逻辑”数据。