这项由清华大学深圳国际研究生院、哈尔滨工业大学深圳、小米、浙江大学及鹏城实验室联合完成的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.04425感兴趣的读者可通过该编号检索完整论文。你有没有想过未来的AI助手能像真人一样既能熟练操作电脑上的Word、浏览器、文件夹又能灵活地在手机上点击、滑动、回复消息这听起来理所当然但实现起来却远比我们以为的难得多。研究团队在探索这个问题时发现了一个颇为有趣的困境并为此设计了一套独特的解决方案。故事要从一个基本问题说起AI怎么学会用软件和人类学技能的方式类似AI需要大量的示范操作来学习比如看着人类怎么打开文件、怎么填写表单、怎么在手机上发微博。这些示范操作就是所谓的交互轨迹。然而同时让AI学会在电脑和手机上都能灵活操作研究团队碰到了两道难关。第一道难关是数据太少且质量参差不齐。现有的示范操作数据大多只覆盖单一平台而且里面混有很多无效操作、错误的步骤记录或者任务描述和实际操作对不上的情况就像一本食谱里有的步骤写的是加盐但配图却是在切菜让人看得一头雾水。第二道难关则更为微妙电脑和手机的操作习惯根本不一样。在电脑上返回上一步通常意味着关闭当前窗口或按CtrlZ撤销但在手机上同样的意图却是点击屏幕左下角的返回按钮。把这两套截然不同的操作逻辑混在一起训练AI很容易混乱不知道该按哪套规矩来。这就好像同时让一个人学用筷子和刀叉结果他拿着刀叉去捞汤里的面条又用筷子去切牛排——两边都没学好。为了破解这两道难关研究团队做了两件事。一是亲手整理了一套高质量的跨平台操作数据集命名为Uni-GUI二是提出了一种名为UI-MOPD的训练方法让一个学生AI同时向两位专门的老师AI学习并且根据当前是在操作电脑还是手机自动决定听哪位老师的话。最终这个学生AI在电脑任务上的成功率达到了38.2%在手机任务上也达到了12.0%相比出发点分别提升了约12.7%和55.8%而且两个平台的能力都没有相互拖累。一、先把教材做好Uni-GUI数据集的诞生要培养一个能同时在电脑和手机上工作的AI首先得有足够好的练习材料。研究团队为此搭建了一套统一的数据采集流水线可以理解为一座同时拥有电脑实验室和手机测试间的训练工厂而且两个车间用的是同一套记录格式方便后续统一处理。整个数据采集过程分为四个环节环环相扣。第一步是出题团队让两个强大的AI模型分别负责电脑和手机端的题目生成。具体来说电脑端的题目由Kimi-K2.6来出它会先在电脑操作环境里扫描有哪些真实可用的功能再根据这些功能生成合理的用户任务比如把LibreOffice表格里的数据复制到Writer文档里并保存为price.docx。手机端的题目则由Gemini-3.1-Pro来出它同样从真实的手机应用环境里提取可操作的功能点再生成自然的用户指令。这种先摸清环境、再出题的方式大大降低了出现鸡同鸭讲——也就是任务要求和实际环境对不上——的情况。第二步是解题让这两个AI模型在真实的电脑和手机环境里按照生成的题目一步一步执行操作并把每一步的截图、操作动作、中间思考过程都记录下来形成原始轨迹。然而原始轨迹里噪音很多所以第三步是严格的清理。团队制定了一套多层过滤标准首先剔除结构不完整的轨迹比如步骤不连续或有重复步骤的然后过滤掉包含学生AI无法执行的操作类型的轨迹接着去掉超过40步的过长轨迹因为这类轨迹往往包含低效探索或错误积累再删除任务描述与实际环境不符的轨迹。最后用Gemini-3.1-Pro充当质检员逐条评估轨迹是否真正完成了任务。评估时质检员会先把每个任务拆解成一系列子任务然后逐步骤检查每个子任务是否被完成只有全部子任务都通过才算合格。这种细粒度的质检方式比一次性判断整条轨迹好坏要精确得多。第四步是格式化把留下来的优质轨迹统一改造成学生AI能直接使用的格式。这包括两项工作一是把原始AI的推理过程重写为标准化的结构化思维链格式因为Kimi和Gemini各有自己的思维表达习惯直接拿来用可能会干扰学生AI自己的输出习惯二是为每个需要点击或操作具体界面元素的步骤重新标注目标区域的边界框坐标方便后续用规则评估操作是否打在了正确位置上。经过这套流水线处理团队最终获得了Uni-GUI数据集。这套数据集包含电脑端约7800条自采轨迹加上约800条来自OpenCUA开源项目的清理轨迹以及手机端约1000条自采轨迹加上约2700条来自OpenMobile开源项目的清理轨迹总计约11500条高质量轨迹、约16万个交互步骤。引入OpenCUA和OpenMobile的目的是扩大覆盖的应用类型和任务多样性但这些开源数据同样经过了同一套清理流程而非直接拿来就用。二、一个学生两位老师UI-MOPD的核心思路有了高质量的教材下一步就是设计训练方法。研究团队的核心思路可以用一个直观的比喻来描述培养一名全科选手让他同时向两位专科老师学习——一位专教电脑操作一位专教手机操作——而且无论在哪个课堂上练习都只接受对应专科老师的指导两位老师的教导不混在一起。这个训练过程分为两个阶段。第一阶段是培训老师。团队把一个通用的大型视觉语言模型Qwen3-VL-32B-Thinking分别在Uni-GUI的电脑轨迹和手机轨迹上进行监督微调训练出两个专家级的老师AI电脑老师和手机老师。这两位老师各自积累了深厚的单平台操作经验电脑老师熟知鼠标点击、键盘快捷键、窗口切换的规矩手机老师则精通点击、滑动、长按、系统导航的习惯。第二阶段是培训学生。学生AI是一个更轻量的模型Qwen3-VL-8B-Thinking体量大约是老师AI的四分之一。训练方式融合了两种机制强化学习和在线蒸馏。强化学习的部分可以这样理解让学生AI在真实的电脑或手机环境里自己尝试完成任务每完成一步就根据结果获得反馈评分成功的操作得正分部分正确的得小负分格式错误或完全无效的操作扣大分。这套评分机制让学生AI能在不断试错中逐渐学会哪些操作是有效的。然而纯粹靠试错的学习方式有个风险学生AI可能会走偏在电脑任务上练得多了就把手机任务的操作习惯给覆盖掉了反之亦然。这就是在线蒸馏发挥作用的地方。所谓在线蒸馏可以把它理解为老师在学生旁边实时提供参考。学生AI每次自己生成一段操作老师AI就对同样的输入也给出自己的判断然后计算两者之间的差距——用一个专业名词来说叫KL散度但通俗来讲就是学生和老师的回答有多不一样。训练的目标之一就是让这个差距尽量小也就是让学生的操作决策往老师靠拢。关键在于在线二字老师的参考不是预先录好的固定答案而是在学生实际执行操作时针对学生当前真正碰到的那些状况实时提供。这就保证了老师的指导能精准覆盖学生真正会犯错的地方而不是泛泛地让学生去模仿老师在另一些场合下的行为。更重要的是平台条件路由机制当学生AI在做电脑任务时只有电脑老师的意见会被纳入约束当学生AI在做手机任务时只有手机老师的意见会被纳入约束。两位老师的指导信号不会混在一起各管各的地盘。这样一来电脑操作的行为规范和手机操作的行为规范在学生AI的参数空间里形成了各自独立的锚点强化学习驱动学生AI提升任务完成率而老师的约束则保证这种提升不会以破坏另一平台的操作习惯为代价。还有一个细节值得一提研究团队设计了一个自适应KL遮罩机制。当学生AI在某类任务上的平均得分已经足够高时老师的约束信号会自动降低权重给学生更多自由探索的空间而在学生表现还不好的任务上老师的约束则保持较强防止学生往错误方向乱跑。这就像一个聪明的教练学生已经掌握的动作就少纠正学生还在摸索的动作就多盯着。三、实验结果数据说话研究团队在两个标准化的测试环境中评估了UI-MOPD的表现。OSWorld是一个评估AI完成电脑桌面任务能力的基准测试包含361个任务MobileWorld是评估AI完成手机任务能力的基准测试包含117个任务。在与一系列对比方案的比较中UI-MOPD在两个平台上都取得了最均衡的成绩电脑端达到38.2%手机端达到12.0%。相比之下其他方案往往呈现顾此失彼的状态。以混合监督微调方案为例把电脑和手机的训练数据混在一起直接训练同一个模型结果电脑端35.0%手机端只有6.4%两头都没有UI-MOPD好尤其手机端差距明显。这印证了研究团队最初的担忧不加区分地混合两套操作习惯会让模型学出一个不伦不类的平均化策略。模型合并方案——也就是分别训练好电脑专家模型和手机专家模型后通过权重平均或TIES-Merging算法把两个模型的参数合并成一个——的表现也不尽如人意。权重平均方案在电脑端达到36.5%手机端6.8%TIES-Merging方案电脑端36.8%手机端则直接归零完全失去了手机任务能力。参数合并这个操作就像把两本菜谱的食材用量简单平均——有些菜或许还凑合但很多菜会因为配比全乱了而变得难以下咽。与其他多平台GUI智能体的比较也颇具说服力。GELab-Zero-4B在手机端有10.9%但电脑端只有31.9%GUI-Owl-7B电脑端达到34.9%手机端却只有4.5%。两者都呈现明显的单边偏强特征。研究团队还做了一组分析用来衡量学生AI从老师AI那里继承了多少能力。电脑老师32B规模单独测试时电脑端成功率高达46.3%手机老师单独测试时手机端成功率为16.2%。学生AI8B规模通过UI-MOPD训练后电脑端达到38.2%手机端达到12.0%相比学生AI的起点电脑33.9%手机7.7%有实质性提升。更值得注意的是学生AI在手机端的表现12.0%已经超过了32B规模基础模型的9.4%说明方法本身带来的增益不仅仅源于模型规模的差异。与此形成对比的是单独在电脑数据上微调学生AI电脑端提升到35.8%但手机端直接降到0%——完全忘掉了手机操作单独在手机数据上微调手机端达到12.8%但电脑端的提升幅度不如UI-MOPD。这说明单平台专项训练确实会造成另一平台能力的崩塌而UI-MOPD能同时在两端保持稳定提升。四、通用理解能力有没有被连累在提升交互任务能力的同时研究团队还关心一个问题经过这套训练后模型对GUI界面的静态理解能力——比如识别界面元素、定位按钮位置——是否会有所损失他们在四个静态测试基准上做了评估。AndroidControl?是从AndroidControl数据集中提取的一个子集包含781条安卓操作轨迹共4260个步骤用于测试模型在静态场景下对手机GUI的理解和操作能力ScreenSpot-Pro和ScreenSpotV2测试模型能否在截图中准确找到目标界面元素的位置OSWorld-G则专门评估模型在电脑截图中的视觉定位能力涵盖文本匹配、元素识别、布局理解等多个子项。结果显示UI-MOPD在AndroidControl?上的综合准确率从基础模型的78.73%提升到了80.05%动作类型预测准确率从85.75%提升至87.02%定位准确率也略有改善。在ScreenSpot-Pro上UI-MOPD得到43.14%接近基础模型的43.71%在ScreenSpotV2上得90.88%接近基础模型的91.27%在OSWorld-G上则从52.13%小幅提升到52.84%。总体来看UI-MOPD在通用理解能力上几乎没有造成损耗部分指标还有微小改善。相比之下TIES-Merging方案在所有静态评测上都出现了明显退步ScreenSpot-Pro从43.71%跌至37.13%OSWorld-G从52.13%跌至47.16%AndroidControl?的综合准确率从78.73%跌至74.01%。这进一步说明了参数直接合并对模型原有能力的破坏性而UI-MOPD的在线蒸馏方式则能较好地规避这一问题。五、从细节看方法的可靠性案例与实现论文还通过两个具体的任务执行案例展示了UI-MOPD在实际操作中的表现。手机端的案例是找到一个分享过希腊食物慕萨卡Moussaka的美食用户回复他的帖子内容为Nice sharing, i love it。模型需要先从主界面找到社交软件入口点进去找到对应的帖子进入回复界面输入指定文字最后确认发送。整个过程中模型展示了观察当前屏幕→制定计划→预判结果→执行操作的结构化思维方式步骤之间衔接有条理能识别文件浏览器里的目标文件并正确点击。电脑端的案例是把LibreOffice Calc当前工作表中的数据复制到LibreOffice Writer的表格里保留原有格式并将文件保存为桌面上的price.docx。这个任务需要在两个不同的办公软件之间切换、复制粘贴表格内容并通过文件保存对话框指定文件名和保存路径。案例中还展示了模型在菜单点击失误后的自我调整——它观察到多次尝试后另存为菜单仍未出现判断是点击坐标与菜单项位置存在微小偏差于是再次尝试最终成功完成任务。这种在执行过程中观察反馈、调整策略的能力是GUI智能体在真实环境中有效工作的重要前提。在工程实现层面整个训练系统运行在64块NVIDIA H100 GPU上分布在8个节点中每个节点8块GPU。训练框架使用verlMegatron-Core负责模型训练SGLang负责推理采样vLLM负责评估阶段的模型部署。学生AI采用2路张量并行、32路数据并行的方式分布运行老师AI则采用8路张量并行、8路数据并行。每个训练提示采样8条输出最大输入序列长度8192个标记最大输出长度512个标记。训练时视觉输入只使用当前截图推理时则使用4张历史截图加当前截图配合完整的历史操作文本给模型提供更丰富的上下文信息。学习率设定为一百万分之一在线蒸馏的KL损失系数为0.01整个训练过程只跑一个完整轮次。说到底这项研究的核心贡献在于提出了一个相对直接但在GUI智能体领域此前尚未有人系统尝试的想法不要让不同平台的训练信号混在一起互相干扰而是给每个平台安排专门的老师让学生AI在每次练习时只向对应平台的老师看齐同时通过在线强化学习持续提升实际任务完成能力。这套思路叫做多教师在线策略蒸馏配合精心整理的Uni-GUI数据集实现了在一个8B规模的轻量模型上同时提升电脑和手机两个平台的任务执行能力并且没有损害模型对界面的基础理解能力。当然目前38.2%和12.0%的成功率离能帮人真正干活的门槛还有相当距离手机端的绝对表现尤其还有很大的提升空间。不过在单个紧凑模型上同时实现两个平台的均衡提升同时保持通用理解能力已经是一个有说服力的起点。随着跨平台操作数据的进一步积累以及训练方法的持续迭代这类技术或许能逐渐走向真正可用的跨平台AI助手。有兴趣深入了解技术细节的读者可以通过arXiv:2607.04425查阅完整论文。QAQ1Uni-GUI数据集和其他GUI训练数据集有什么区别AUni-GUI最核心的不同在于它同时覆盖电脑和手机两个平台并且经过严格的多层清理流程包括剔除无效操作、过滤格式错误、用AI质检员做子任务级别的成功验证最终保留约11500条高质量轨迹。相比之下现有数据集大多只针对单一平台且质量控制力度参差不齐。Q2UI-MOPD训练出来的模型在用的时候需要同时加载两个老师模型吗A不需要。两个老师模型只在训练阶段参与用于提供平台对应的参考信号。训练完成后实际使用时只需要部署学生模型这一个模型不会增加推理阶段的资源消耗或系统复杂度。Q3为什么模型合并方法在手机任务上会直接归零ATIES-Merging等参数合并方法在处理电脑和手机两个专家模型时会对参数进行某种平均化或冲突裁剪操作。电脑端数据量远多于手机端约95K对17K自采步骤手机端的参数特征在合并后很可能被大幅稀释甚至覆盖导致模型完全丧失手机操作能力。这也说明单纯依靠参数合并无法保留体量较小一方的专项能力。