这项由广东省人工智能与数字经济实验室深圳主导的研究于2026年7月以预印本形式发布在arXiv上论文编号为arXiv:2607.05465。感兴趣的读者可通过该编号查阅完整论文。当你想让AI帮你做一张复杂的图片——比如先从一张照片里找出某个人把他剪切出来换上新背景再给图片加上一段中文文字最后把整张图清晰度提升四倍——你会怎么做现实中你可能需要打开PhotoShop、换一个AI生成工具、再用一个文字识别软件来回折腾好几个程序。而这篇论文要解决的正是这个让人头疼的问题能不能有一个总指挥统一调度所有这些不同的工具按照你的要求一步步完成整个任务这个总指挥就是论文提出的**CanvasAgent**画布智能体配套的训练数据集叫做**CanvasCraft**画布工坊。研究团队希望构建出一个能够编排多种视觉工具、自主完成复杂图像创作与编辑任务的智能系统。把CanvasAgent比作一位经验丰富的大厨会相当贴切。厨房里有切菜刀、炒锅、烤箱、蒸笼等各种工具一道复杂菜肴需要先焯水、再翻炒、再烤制每一步的结果都会影响下一步的操作。CanvasAgent就是这样的大厨它手边有十一种专业视觉工具接到任务后它会先想好流程再按顺序调用工具看到每一步的中间成果后决定下一步怎么做直到最终端出一道令人满意的菜。---一、为什么一个工具搞不定需要总指挥要理解这项研究的出发点先考虑这样一个场景你有一张体育场看台的弯曲横幅照片横幅上有变形的文字你想先识别出这些文字再把它翻译成另一种语言然后把翻译后的文字重新渲染回原图最后还要把图片分辨率提升让细节更清晰。这个任务需要文字识别OCR、图像编辑、超分辨率增强等至少三种完全不同的操作而且顺序不能乱——必须先认字才能翻译才能贴回去最后再增强清晰度。这就是研究团队所说的长程任务后面的每一步都依赖前面一步的结果。现有的AI图像工具大多是单打独斗型选手Stable Diffusion擅长文字生成图像InstructPix2Pix擅长按指令修改图片SAMSegment Anything Model擅长分割出图片里的某个物体……但它们都只能各司其职做完自己那一件事就结束了。没有谁来负责把这些工具串联成一个完整的工作流也没有谁在中间检查这一步做对了吗需要调整吗这三个核心挑战让复杂图像创作与普通的输入文字生成图片任务有了本质区别。第一个挑战是长程性任务链条可能有六七步甚至更多每一步的输出都是下一步的输入。第二个挑战是视觉接地性每次工具调用完之后系统必须真正看一眼中间结果判断是否成功而不能假设一切顺利。第三个挑战是状态性在整个过程中可能同时存在多张中间图片——原始图、分割出的局部区域、编辑后的版本等等——系统必须清楚地知道下一步该拿哪一张图来操作。正因为现有的工具和方法都没有系统性地解决这三个挑战研究团队决定从头开始构建一套完整的解决方案。---二、工具箱里装了什么十一件厨房利器在详细介绍CanvasAgent的训练方式之前先来认识一下它手边的那十一种工具因为整个系统的价值都建立在这些工具的协同配合之上。第一类是创作性工具包括Generation生成和Edit编辑两种。Generation能够根据文字描述凭空生成一张图片底层用的是FLUX.2-Klein-4B这个生成模型Edit则能根据指令修改已有图片比如把图片里那条裤子改成红色同样基于FLUX.2-Klein-4B。第二类是感知定位工具包括Grounding定位和SAM分割。Grounding基于Grounding-DINO模型能根据文字描述找出图片里某个物体的位置输出一个方框坐标SAM则更进一步拿到方框坐标后能精确地把物体的轮廓勾勒出来生成一个精细的遮罩。这两个工具常常搭配使用——先用Grounding找到物体在哪儿再用SAM把它的精确边缘描出来。第三类是提取与合成工具包括Extract提取和Overlay叠加。Extract能根据SAM生成的遮罩把物体从背景里抠出来Overlay则能把一个物体或一段文字叠加到另一张图片的指定位置上。这两个工具是实现把A图的物体放到B图上这类操作的关键。第四类是几何变换工具包括Crop裁剪、Rotate旋转和Flip翻转功能顾名思义分别用来截取图片的某个区域、旋转图片角度、水平镜像翻转图片。第五类是文字与增强工具包括OCR文字识别和SR超分辨率。OCR基于PaddleOCR能读取图片里的文字内容SR基于Real-ESRGAN能把图片放大四倍并显著提升清晰度。每一种工具都接受结构化的JSON格式一种类似表格的数据格式输入输出也是标准化的格式这让CanvasAgent能够像搭积木一样自由地把这些工具组合起来。---三、大厨的食谱CanvasCraft数据集是如何制作的光有工具还不够要让CanvasAgent学会什么时候用什么工具、以什么顺序用需要大量的示范食谱——这就是CanvasCraft数据集的作用。CanvasCraft包含两个互补的子集各自承担不同的训练职责。**CanvasCraft-SFT**是第一个子集共有约14万条完整的操作流程示例相当于14万份详细的烹饪食谱。每一条数据都记录了用户提出了什么要求、输入了哪些图片、系统是怎么一步步思考的、每一步调用了哪个工具、传入了什么参数、工具输出了什么中间结果以及最终的图片是什么样的。这种详尽程度远超普通的输入-输出对因为它把中间的每一个思考和行动过程都记录了下来。这14万条数据是怎么生成的研究团队设计了一套逆向工程流水线。他们先设计了各种工具调用链的模板——比如定位→分割→提取→叠加或者翻转→OCR→图像编辑→旋转→OCR→叠加——然后从PICO-Banana-400K这个大型图片数据集里挑选合适的输入图片再根据工具链模板反推出一个合理的用户指令比如这个工具链是先翻转图片再识别文字那合适的用户指令就是请翻转这张图片并识别里面的文字最后真正执行这个工具链记录下完整的执行过程。只有通过质量检验的数据才会被保留检验标准包括工具调用格式是否正确、参数是否有效、中间图片引用是否一致、执行是否成功以及是否存在冗余步骤。在这14万条数据中工具的覆盖相当均衡单独使用图像编辑工具的约有1.9万条单独使用图像生成工具的约有1.9万条单独使用OCR的约有1.8万条另有约1.3万条是定位→裁剪链条同样数量的是定位→分割链条和定位→分割→提取链条约1万条是叠加操作……此外还有约3800条属于复杂多工具类别这些数据包含了更长的工具链、更多样的工具组合是训练系统理解长程依赖关系的核心材料。**CanvasCraft-RL**是第二个子集共有1万条数据但这些数据故意不完整——它们只提供任务描述和预期使用的工具集合而不提供具体的执行步骤。这就好比给一位厨师说这道菜需要用到刀、炒锅和烤箱但不告诉他具体的操作步骤让他自己探索最佳做法。这个子集的设计理念来自强化学习的思路与其让模型死记硬背固定的操作流程不如让它在试错中发现更好的策略。这1万条数据围绕三个维度进行设计推理难度R描述完成任务需要多复杂的条件判断轨迹长度L描述预期需要多少步工具调用工具多样性D描述任务需要用到多少种不同类型的工具。难度分为简单、中等、困难三档从表格数据来看在推理难度上困难级别约有7400条中等约1800条简单约760条轨迹长度上中等5-8步约4700条困难9步以上约4800条简单1-4步约480条工具多样性上中等3-4种工具约5600条简单1-2种约2300条困难5种以上约2000条。此外CanvasCraft还包含一个由人工精心挑选的250条评估集专门用来测试系统在各种复杂任务上的表现。---四、大厨的两阶段培训从模仿到创新有了食谱和食材接下来就是如何训练CanvasAgent。研究团队采用了两阶段的训练框架就像培养一位厨师一样先让他跟着菜谱学基本功再让他在实践中找到自己的节奏。**第一阶段监督微调SFT——照着菜谱做**在这个阶段CanvasAgent用CanvasCraft-SFT的14万条完整轨迹数据进行训练学习如何把一个用户请求分解成具体的推理步骤和工具调用动作。模型的基础是Qwen3-VL-8B-Instruct这是一个本身具备看图理解能力的多模态大语言模型。通过大量阅读这些完整的操作日志模型逐渐学会了如何用正确的JSON格式调用工具、每种工具需要哪些参数、前一步生成的图片文件名应该如何被后续工具引用、不同工具之间存在哪些依赖关系比如必须先运行Grounding才能得到坐标才能运行SAM。然而仅仅模仿已有示例是有局限的。就像一个厨师如果只会照着菜谱做遇到没见过的食材组合就会手足无措。研究团队发现只经过SFT训练的模型在测试中平均只调用1.32个工具远低于任务实际需要的约3.6个工具——它学会了如何做但还没学会该做多少。**第二阶段强化学习GRPO——在试错中进化**这一阶段使用CanvasCraft-RL的1万条数据采用GRPO分组相对策略优化算法。GRPO的运作方式可以这样理解对同一个任务模型会产生多个不同的执行方案然后根据这些方案的质量高低来调整策略——好的方案得到奖励差的方案被压制模型逐渐学会倾向于产生更好的方案。整个第二阶段在8块NVIDIA A800显卡上运行了7天。其中6块显卡用于训练模型另外2块显卡专门用于在真实工具环境中执行模型生成的操作方案以便获取真实的工具执行结果。这一点至关重要模型不是在虚拟环境里学习而是真正调用图像生成、文字识别等工具看到真实的中间图片结果再根据这些反馈调整策略。---五、评分标准什么叫做做得好要让强化学习发挥作用就必须有一套清晰的评分标准——也就是混合奖励函数。这是这项研究最具独创性的设计之一因为评价一个复杂图像任务的质量既不能只看最终图片好不好看也不能只看操作步骤合不合理两者必须兼顾。混合奖励由结果分和过程分两大部分组成权重分别是0.4和0.6过程分的权重略高体现了研究团队对执行过程质量的重视。结果分包含两个维度。**对齐分**权重0.3评估最终图片是否满足用户的具体要求由一个LLM法官Qwen3.5-Plus模型来评判它会仔细检查用户要求的物体有没有出现、位置对不对、颜色对不对、要求的文字有没有正确显示、需要保留的部分有没有被意外改动。这个分数设计得相当严格如果任务要求显示文字但文字有拼写错误通常上限只能达到0.3分如果只是大致符合主题但遗漏了具体要求通常只能给到0.4-0.6分。**美观分**权重0.1单独评估图片的视觉质量不管内容对不对只看图片是否构图平衡、色彩和谐、清晰自然、没有明显的人工痕迹或奇怪的拼接感。过程分同样包含两个维度。**轨迹分**权重0.2也由LLM法官来评判但它只看执行过程是否合理不看最终图片质量。评判标准包括任务分解是否合理、工具选择是否恰当、工具之间的依赖关系是否被正确处理、有没有调用无关或冗余的工具。有一条硬性规定如果整个轨迹只调用了一个工具就结束直接给0分因为这代表根本没有进行有意义的多步骤操作。**基于规则的分数**权重0.4不依赖语言模型判断而是用程序直接检查。它包含格式奖励检查推理块和工具调用块的格式是否正确、JSON是否合法、每次对话是否只有一个工具调用等和动作奖励检查每次工具调用是否有效。动作奖励的设计相当细致对每次工具调用系统会检查工具名称是否合法占0.25分、必要参数是否都填写了占0.25分、引用的图片文件是否确实存在于当前状态中占0.20分、工具特定的约束是否满足比如坐标格式是否正确占0.20分、工具执行是否真正成功占0.10分。除了以上四种正向信号系统还设计了效率惩罚对执行失败的工具调用扣分、对相邻重复的工具调用扣分、对过长的推理段落扣分、对超过预期工具调用数量的情况扣分、对遗漏了预期工具的情况扣分。这些惩罚确保模型不会靠多调用工具凑数来刷高分而是真正学会精准高效的操作。---六、考试结果CanvasAgent表现如何研究团队在250条评估样本上对比了多个系统的表现参与比较的有三类模型。第一类是借用工具箱但没经过专门训练的通用多模态模型包括LLaVA-OneVision-7B、Qwen3-VL-8B-Instruct和Qwen3-VL-32B-Instruct第二类是只输出最终图片、不使用工具链的图像生成模型包括Qwen-Image-2.0、Wan2.7-Image和GPT-Image-2第三类是经过CanvasCraft训练的两个版本只经过SFT训练的CanvasAgent和完整SFTRL训练的CanvasAgent。从综合奖励分来看通用多模态模型的表现相当有限。LLaVA-OneVision-7B只有0.402分Qwen3-VL-8B-Instruct为0.426分即便是更大的32B版本也只有0.474分。这些模型虽然能用工具但它们没见过足够多的复杂工具编排示例所以在多步骤任务上表现欠佳。值得注意的是Qwen3-VL-32B-Instruct的轨迹分达到了0.512平均调用了7.7个工具说明它有一定的多步骤意识但最终图片的对齐分只有0.428说明工具调用虽多但并不精准。只经过SFT训练的CanvasAgent综合奖励提升到了0.557对齐分达到0.613轨迹分达到0.576说明学习了完整轨迹示例确实有效。但它平均只调用了1.32个工具这个数字远低于任务实际需要的平均3.6个——它学会了格式和基本流程但还没有学会主动规划多步操作。完整的SFTRL训练版CanvasAgent表现出了全面的提升综合奖励达到0.821对齐分跃升至0.869美观分0.762轨迹分0.849基于规则的分数0.785平均工具调用数升至5.436。这种全方位的提升说明强化学习阶段确实帮助模型学会了主动分解任务、合理安排多步操作、并根据中间结果调整策略。在训练过程中还观察到一个有趣现象强化学习初期工具调用次数先大幅增加模型在探索各种可能性然后逐渐稳定甚至有所下降效率奖励开始发挥作用模型学会了更精简的操作方式。对于纯图像生成模型研究团队只报告了对齐分和美观分。GPT-Image-2的美观分高达0.895对齐分也有0.799Wan2.7-Image的美观分为0.843、对齐分0.605Qwen-Image-2.0的美观分0.825、对齐分0.543。这些模型在图像质量上确实出色但面对需要多步骤工具编排的复杂任务它们的对齐分都低于CanvasAgentSFTRL的0.869说明即使是强大的单步图像生成模型也无法替代工具编排系统在复杂任务上的优势。研究团队还做了消融实验系统地去掉训练框架的各个部分来验证每个组件的贡献。只使用RL而不做SFT预热的版本综合奖励0.604比SFT-only略高但对齐分和美观分分别下降至0.472和0.666说明没有SFT打底的强化学习会导致探索不稳定。在奖励设计上去掉结果奖励的版本轨迹分高达0.907操作流程很规范但对齐分暴跌至0.320最终图片根本不符合要求——这就像一个厨师把厨房整理得井井有条但炒出来的菜根本不是客人点的那道。去掉过程奖励的版本综合分降至0.379轨迹分只有0.357。只有完整的混合奖励才能在各项指标上取得平衡。在人工评估环节研究团队请评估人员对12个样本的输出结果在1-5分制下进行打分评估维度包括任务对齐度、关键细节对齐度和美观质量。CanvasAgent的三项得分分别为3.97、3.90和4.06而Qwen3-VL-32B-Instruct一个参数量是它四倍的模型的对应得分为2.93、2.91和2.83两者差距相当显著说明专门化的数据和训练方式能够弥补模型规模上的差距。---七、现场演示一个三张图片的复杂任务论文中有一个具体的案例展示了CanvasAgent在实际复杂任务上的工作过程这个案例生动地说明了为什么工具总指挥比单打独斗更有优势。用户提供了三张图片第一张是一家商店门口的照片门上有可读的英文标志第二张是一块空白的科幻风格标志面板第三张是一条下雨的街道场景街边有一个适合安装标志的位置。用户的要求是读取第一张图片里的文字把它准确翻译成西班牙语然后把翻译后的文字重新制作到第二张图片的面板上确保字体清晰、大小合适最后把这块制作好的西班牙语标志安装到第三张图片的街道场景里要求透视角度、灯光、反光和比例都要显得自然真实。面对这个任务CanvasAgent的执行过程分成了几个清晰的阶段。首先它用Grounding工具在第一张图片里定位到了商店标志的位置得到了一个边界框坐标接着用SAM工具根据这个坐标精确地把标志区域的轮廓描绘出来生成遮罩然后用Extract工具把标志从图片里抠了出来再用OCR工具识别出标志上的文字是OPEN DAILY 7AM-10PM。完成文字提取后模型进入编辑阶段它用Edit工具把第二张面板图片改造成了带有西班牙语文字ABIERTO DIARIAMENTE 7AM-10PM的标志面板生成了一个新的中间图片文件。接着它用Edit工具把这块西班牙语标志自然地安装到了第三张雨街场景里要求它考虑透视、雨水反光、灯光等视觉细节。完成这步之后CanvasAgent并没有就此停下而是主动做了一次自我检验它调用OCR工具检查新生成图片里的文字是否正确还调用Grounding工具检验标志是否被正确定位在了应有的位置。确认无误后它进行了最后的精修再次调用Edit工具对图片进行最终美化比如给标志添加轻微的锈迹和磨损感以及在玻璃窗上添加雨滴效果让整张图片更有真实感。这个完整的流程涉及了Grounding、SAM、Extract、OCR、Edit、Grounding再次、OCR再次、Edit再次共8次工具调用而且每一次都是基于对上一步结果的判断来决定的展现出了真正的边做边看、边看边调整的能力。---说到底CanvasAgent和CanvasCraft这项研究做的事情是给AI图像工具世界配备了一位真正懂得统筹安排的总指挥官。以前的AI工具就像一堆各怀绝技的厨师每人只做一道菜却没有人协调谁先开始、谁等谁的结果、最后谁来摆盘。CanvasAgent填补了这个空白而CanvasCraft则提供了训练这位总指挥所需的海量厨房实录。这项研究的价值不仅在于最终图片质量的提升更在于它提供了一套完整的框架——数据构建方法、两阶段训练策略、结合结果和过程的混合奖励设计——这些都可以被后续研究借鉴和扩展。研究团队自己也在论文末尾指出了几个明显的局限工具种类是固定的11种无法动态扩展评判图片好坏依赖外部的语言模型本身可能存在偏差强化学习阶段需要实际执行工具计算成本相对较高。他们希望未来能探索让系统自己发现和学习新工具、用自我评估取代外部语言模型裁判、以及把这套思路扩展到视频创作领域。对于普通用户而言这类研究的最终指向是有一天你或许只需要用自然语言告诉AI我想要一张把A图里的人物放到B图背景里、再加上C图里的文字风格的合成图AI就能自动规划出完整的操作流程调用合适的工具检验中间结果并在出现问题时自动调整——就像一位真正理解你意图的图像创作助手。想深入了解这项研究的读者可通过arXiv编号2607.05465查阅完整论文。---QAQ1CanvasAgent和普通的AI图像生成工具有什么区别A普通AI图像生成工具通常只做一件事比如根据文字生成图片或按指令修改图片处理完就结束了。CanvasAgent的区别在于它能编排多种工具协同工作一个任务可能涉及生成、定位、分割、提取、文字识别、叠加等多个步骤每步结束后它还会看中间结果再决定下一步怎么做最终完成那些单一工具无法处理的复杂图像任务。Q2CanvasCraft数据集是怎么保证训练数据质量的ACanvasCraft-SFT的每条数据都经过了多项程序化检验工具调用格式是否正确、参数是否有效、中间生成的图片文件名引用是否一致、工具实际执行是否成功、是否存在多余的重复步骤只有通过全部检验的数据才会保留确保模型学到的都是真实可执行的操作流程。Q3CanvasAgent的混合奖励函数为什么要同时评估最终图片和操作过程A因为只看最终图片容易导致模型走捷径比如只调用一个工具生成一张大致符合要求的图片完全跳过了分步验证和精细操作而只看操作过程又可能出现流程规范但图片根本不符合用户要求的情况。消融实验也证明了这一点去掉结果奖励最终图片的对齐分从0.869暴跌到0.320去掉过程奖励综合得分则从0.821下降到0.379。