在多模态搜索场景中用户希望模型不只是“看图回答”而是能够像研究助手一样围绕图像展开搜索先识别图中实体再查找相关知识再回到图像细节中验证线索最后沿着多跳关系链给出答案。例如给定一张钛金属外墙的博物馆照片问题要求判断这是某个国际艺术博物馆网络中的哪个分馆找出它的建筑师确认图片背景中的城市并回答这位建筑师获得过的最高建筑奖项。要答对这个问题模型需要先从图像中识别 Guggenheim Museum Bilbao再查到 Frank Gehry再利用背景城市排除相似分馆最后检索 Pritzker Architecture Prize。这类任务被称为多模态搜索或 Multimodal Deep Search。它要求 Agent 在视觉感知、文本检索、知识推理和中间验证之间不断切换。相比普通 VQA它更接近一个长链路的交互式研究过程。然而当前强大的多模态搜索系统大多仍是闭源系统。闭源系统背后往往有不可见的搜索链路、训练数据、工具编排和反馈机制开源系统即便接上类似工具也很难复现同样的训练环境。结果是开源模型常常只能在推理阶段模仿工具调用却很难真正学会稳定的多跳搜索策略。 针对这一问题来自香港中文大学 MMLab、清华大学、香港大学、北京大学等机构的研究团队提出 SearchEyes一个面向多模态深度搜索的 Search World Simulation 框架。它的核心思想是与其在割裂的 pipeline 上分别优化数据、环境和奖励不如构建一个自洽的模拟搜索世界让数据生成、环境交互和强化学习反馈来自同一个结构化世界。图片论文标题SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation论文链接https://arxiv.org/abs/2607.05943项目主页https://searcheyes-page.vercel.app/代码仓库https://github.com/Frostlinx/SearchEyes作者单位香港中文大学 MMLab、清华大学、香港大学、北京大学等第一作者焦政博现为香港中文大学 MMLab 研究实习生同时担任腾讯混元青云计划实习生关注基础模型的能力提升。此前任职于阿里巴巴 AIData 研究团队担任研究实习生工作期间持续与 Qwen 团队协同配合围绕模型能力提升参与大模型推理、训练、评估全流程研发。其主要研究领域为 Data-Centric LLM现阶段研究工作围绕 Agentic RL 与模型的 Self-Evolving涵盖 Search、SWE、Computer use 等 Agent 的智能体环境拓展与合成他已完成多项具有代表性的研究工作主要包括 Socratic 系列Zero、Geo、SWE、Agentic Proposing 以及 SearchEyes。相关学术论文已被 ICML、ACL、CVPR 等国际顶级会议正式录用。为什么多模态搜索 Agent 需要新的训练环境传统多模态大模型通常擅长在单张图像和单个问题之间建立映射。但在真实搜索场景中问题往往不是一次视觉理解就能解决的。模型需要持续调用工具阅读外部知识判断当前证据是否足够再决定下一步搜索方向。这类多步搜索任务对 Agentic RL 提出了更高要求。模型不仅要知道最终答案是什么还要学会中间过程该怎么走什么时候 visual_search什么时候 text_search什么时候 lookup什么时候需要回到图片中验证而不是直接给出看似合理的猜测。现有开源多模态搜索 Agent 的训练流程大多包含三个部分数据合成、环境交互和奖励反馈。问题在于这三部分通常是独立构建的。在数据侧很多方法利用图结构或网页路径合成多跳问题但生成完问题后只保留 question-answer pair中间路径、实体 ID 和关系类型被丢弃。模型训练时只知道“问什么”和“答什么”却不知道搜索链应该怎样展开。在环境侧训练往往依赖外部搜索引擎或 API。真实搜索引擎虽然贴近应用场景但结果会随时间、地区、排序策略和 API 状态变化难以复现也很难与合成数据中的原始路径严格对齐。在奖励侧强化学习通常只在轨迹末端根据最终答案给出奖励。对于一个 4 到 5 跳的搜索任务最终答错并不代表每一步都错最终答对也不代表路径可靠。轨迹级奖励过于稀疏无法有效告诉模型哪一步搜索值得强化哪一步已经偏离。SearchEyes 将这种问题称为>图1SearchEyes 总体框架。typed KG 同时连接 PKC 问题合成、模拟搜索世界和 HaPO 训练。这正是 SearchEyes 与传统 pipeline 最大的区别。传统方法通常是“先合成数据再找环境再设计奖励”SearchEyes 则让环境本身成为数据和奖励的共同来源。PKC让路径成为可复用标注为了让 Search World 同时支撑数据和奖励SearchEyes 提出 Perception-Knowledge Chain简称 PKC。PKC 是在视觉-知识交叉空间中采样得到的多跳实体路径。路径从带图像的 visual entity 出发沿 typed relation 前进并要求感知跳 P-hop 和知识跳 K-hop 交替出现。P-hop 对应视觉感知或视觉检索例如从图片中识别建筑、人物、物体或地点K-hop 对应知识检索例如查找实体的作者、所属组织、出生地、获奖记录或关系对象。这种 P-K 交替约束很关键。它避免问题退化成纯文本检索也避免图像只作为装饰。一个合格的 PKC 问题必须让模型在看图和查知识之间切换。以前面的博物馆问题为例其 gold entity chain 可以写成Guggenheim Museum Bilbao - Frank Gehry - Bilbao - Pritzker Architecture Prize。第一跳需要从图像识别具体分馆是 P-hop第二跳查建筑师是 K-hop第三跳通过背景城市验证具体分馆是 P-hop第四跳查建筑师奖项是 K-hop。更重要的是PKC 在合成问题后不会丢掉路径。每一跳的实体元数据都会被保留并继续服务于后续两个阶段一方面定义 Search World 中 Agent 应逐步抵达的结构化搜索空间另一方面为强化学习提供天然的奖励锚点。因此SearchEyes 可以把“路径即标注”真正落地。传统数据合成往往只留下最终问答而 SearchEyes 保留整条路径让它贯穿数据生成、环境交互和 RL 训练。为了避免模型学到捷径PKC 还加入多级过滤包括退化路径过滤、single-hop shortcut 过滤、knowledge contamination 过滤、跨模态 grounding 检查和答案可验证性检查。论文中的 ablation 显示去掉 anti-shortcut filtering 或 P-K alternation constraint 都会显著降低性能。Search World把搜索环境标准化有了 PKC 之后SearchEyes 进一步用同一套实体和文档构造 Mock Search World。在这个环境中Agent 可以调用多种工具。text_search 用于文本检索visual_search 用于从输入图像或裁剪区域中检索视觉相似实体lookup 用于读取特定实体对应的 Wikipedia 文档summarize 用于压缩长观察结果python_interpreter 用于轻量计算。由于环境中的文档和实体一一对应到 Wikidata QID系统能够精确记录 Agent 每一步检索到了哪个实体。这一点对训练非常重要只有当环境知道模型“走到了哪里”后续奖励才能判断这一步是否接近 gold chain。相比依赖外部搜索引擎Search World 的优势是可控和可复现。外部 API 的排序和返回结果可能变化但 Search World 中的实体、文档和检索空间是固定的。研究者可以在同一个环境中复现实验也可以清楚分析模型在哪一跳失败。图2PKC 合成与自包含 Search World。左侧为 P-K 交替路径采样与问题生成右侧为确定性检索环境和实体追踪。换句话说SearchEyes 为多步搜索 Agent 提供了一个标准化训练场。它不是替代真实互联网而是在训练阶段提供一个结构清晰、反馈可计算的中间世界使模型先学会可靠的多跳搜索行为再迁移到开放场景。HaPO把最终奖励拆成步骤级反馈仅有高质量数据和可复现环境还不够长链路 Agentic RL 仍然面临 credit assignment 问题。标准 GRPO 或类似方法通常使用最终答案奖励。对于多跳搜索任务模型可能在前几步找对实体最后一步失败也可能前面路径混乱但最终碰巧答对。如果所有 token 都共享同一个轨迹级奖励训练信号会非常粗糙。SearchEyes 提出 Hop-Anchored Policy Optimization简称 HaPO。它直接复用 PKC 保留下来的 gold entity sequence把每一跳实体作为 reward anchor无需额外训练过程奖励模型 PRM。HaPO 的直觉是如果多条 rollout 都在某一步检索到了同一个 gold entity它们可以被认为到达了相似的中间状态。此时再比较这些轨迹最终是否成功就可以估计从这个 hop 之后的动作质量。例如两条轨迹都找到了 Guggenheim Museum Bilbao说明它们在第一跳都抵达了正确实体。接下来一条轨迹查到 Frank Gehry另一条轨迹跑向 Frank Lloyd WrightHaPO 就可以在这个中间点附近给出更细粒度的信用分配而不是等到最终答案处才统一奖励或惩罚。形式上HaPO 会把命中同一个 gold entity 的 trajectory-step pair 组成 hop anchor group在组内根据最终 outcome 的差异计算 step-level advantage。这个 advantage 会作用到 anchor 之后的 tokens没有 anchor 覆盖的部分则回退到 trajectory-level signal。这样强化学习不再只是稀疏的“结局判断”而更接近“步步为营”找到正确实体、完成正确模态切换、沿着知识链继续推进都会获得更直接的训练信号。论文还加入 fatal-aware masking、one-sided advantage clamping、smooth asymmetric gating 和 observation token masking 等稳定训练设计减少工具失败、退化后缀和环境文本复制对策略优化的干扰。训练流程先学会搜索轨迹再优化搜索决策SearchEyes 的整体训练分为 SFT 和 RL 两个阶段。在 SFT 阶段研究团队先用 expert model 在带 retrieval boost 的 Search World 中生成搜索轨迹。Retrieval boost 会提高 gold path 相关文档在轨迹生成时的可见性让 expert 更容易产出覆盖中间实体的正确轨迹。随后系统通过 rejection sampling 保留最终答案正确的轨迹并用 observation denoising 将长文档观察结果压缩成与当前 query 相关的事实。最终 SFT 数据包含约 30K 条 accepted expert trajectories来自 10K 个 SFT 问题。训练时模型学习 Thought、Action 和 final answer 等 agent-generated tokens环境 observation 只作为上下文不计入 loss。这样模型学到的是如何基于观察继续行动而不是背诵环境返回文本。在 RL 阶段系统使用 12K 个问题进行在线 rollout并通过 HaPO 进行策略更新。PKC 中保留的实体路径被重新用作 hop-level reward anchors使得每一跳搜索都能参与训练信号构造。这套流程形成了一个完整闭环PKC 生成问题Search World 提供交互HaPO 利用同一条实体路径提供步骤级反馈。图3SearchEyes 的 agentic post-training 流程。SFT 学习专家轨迹HaPO 基于 hop anchor 进行步骤级信用分配。实验验证开源多模态搜索 Agent 的性能跃迁研究团队在六个多模态知识密集型 benchmark 上评估 SearchEyes包括 SimpleVQA、VDR、MMSearch、LiveVQA、BrowseComp-VL 和 FVQA并额外构建 VisSearch Bench 来专门测试 P-K 交替结构下的多跳视觉搜索能力。主结果显示SearchEyes-27B 平均准确率达到 68.1相比最强开源基线 OpenSearch-VL-32B 的 61.9 提升 6.2 个点SearchEyes-9B 平均达到 59.3接近 OpenSearch-VL-30B 的 59.8。图片在具体任务上SearchEyes-27B 在 MMSearch 上达到 82.4在 FVQA 上达到 79.1显示出较强的跨模态检索和知识问答能力。SearchEyes-9B 也展现出很高的参数效率以更小规模接近 30B 级别开源基线。消融实验进一步说明提升并不只是来自更大的模型而是来自结构化数据和步骤级奖励。去掉 P-K alternation constraint平均分从 61.8 降到 57.6去掉 anti-shortcut filtering降到 54.1用 GPT-4o free-form synthesis 替代图约束合成只有 49.2。图片在 HaPO 消融中Full HaPO 平均 61.8相比 Standard GRPO 的 57.8 提升 4.0。去掉 hop-anchored advantage 后平均只有 59.1说明步骤级信用分配是训练多步搜索 Agent 的关键。图片此外VisSearch Bench 包含 1000 个问题、935 个 Wikipedia 实体图像要求至少 4 hop、至少 2 个视觉感知 hop并具有明确的 P-K 交替结构。SearchEyes-27B 在该 benchmark 上达到 24.3SearchEyes-9B 达到 18.6显著优于表中普通 Agentic Qwen、OpenSearch-VL、SenseSearch、GPT-5 和 Kimi-K2.5 在这一受控场景下的结果。结语SearchEyes 的工作表明对于多模态搜索 Agent 来说能力提升不能只依赖更强的 base model 或更长的工具调用模板。训练环境本身就是能力的一部分。如果环境不可复现模型就很难稳定学习搜索行为如果数据合成丢掉中间结构训练就只能看到最终 QA如果奖励只在终点出现强化学习就无法知道每一步该如何改进。SearchEyes 通过模拟搜索世界把数据、环境和奖励重新耦合在一起为开源多模态搜索 Agent 提供了一个标准化训练场。从更长远看这种>因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。