这项由俄罗斯T-Tech研究团队完成的研究于2026年7月发表在ICML 2026强化学习研讨会RLxF: Reinforcement Learning from World Feedback上论文编号为arXiv:2607.01897。有兴趣深入探究的读者可以通过该编号在arXiv平台上查阅完整论文。教一个孩子学骑自行车通常有两种方法。第一种是在旁边喊口令每次他歪了就纠正每次稳了就鼓励——这是有明确奖励信号的方式。第二种是让他先看一段骑车高手的视频反复看然后自己上车摸索没有人在旁边打分但他心里已经有了什么叫骑对了的直觉。大多数AI训练智能体就是让AI自主完成任务的技术走的是第一条路给AI一个明确的打分系统做对了就加分做错了就扣分。但T-Tech的研究团队提出了一条更接近第二种方式的道路——让AI只看专家视频不需要任何人工打分规则就能自己学会做任务。这个框架叫做**Rank-Then-ActRTA先排名再行动**。---一、为什么不用打分系统这么难要理解这项研究有多难得先理解为什么不给打分是个大问题。以电子游戏为例。通常的AI训练是这样的游戏通关了加1000分掉血了扣100分原地踏步扣10分。AI通过反复试错慢慢摸索出哪些行为会让分数升高最终学会玩游戏。这套叫做强化学习的方法在很多场景里非常有效。但现实世界里很多任务根本没有这样现成的打分系统。比如机器人要学会组装家具你怎么定义拧螺丝拧到50%是多少分或者一个AI要学会帮人泡一杯咖啡你怎么给把水烧开这个中间步骤一个准确的分值打分规则一旦设计不当AI会找到各种钻空子的办法——比如在游戏里原地转圈刷时间也能加分这就是研究者担心的奖励黑客问题。另一条路是让AI看人类专家的操作视频从视频里自己理解什么是进步。这听起来很美但有三个棘手的障碍。第一个障碍时间越往后不等于越好。如果直接拿视频的帧序列训练AIAI会偷懒学会一个最简单的规则——视频后面的帧就是好的前面的帧就是差的根本不去理解任务本身。第二个障碍不同任务之间的进度尺度完全不同一个游戏里从0%到100%的进度条跟另一个游戏里的进度条根本没法直接比较。第三个障碍在实际运行时每一步都要让AI打分太慢了还容易因为分布偏移AI遇到的情况和训练时不太一样导致打分失灵。RTA的核心贡献就是针对这三个障碍分别设计了解决方案。---二、第一步教AI看懂视频里的时间顺序RTA的第一个阶段可以用一个简单的游戏来理解把一本漫画书的页面顺序打乱然后让你把它重新排好。要排好你得真正理解故事在讲什么而不是靠页码作弊。研究团队做的事情与此完全一致。他们拿到专家玩游戏的视频把视频帧的顺序打乱就像把漫画书页面打散然后训练一个视觉语言模型可以理解为既能看图又能理解文字的AI简称VLM来为每一帧打一个进度排名——哪帧是最早的哪帧是最晚的。但这里有一个关键的细节设计他们会保留视频的第一帧不动把它作为一个锚点然后把剩下的帧随机打乱。这个锚点的作用类似于给你一本漫画书的封面让你知道故事从哪里开始然后让你排序后面的内容。没有这个封面你可能分不清楚故事是顺着走还是倒着走——进度方向就变得模糊了。这个VLM在看完打乱的帧后需要为每一帧写一段帧描述并给出它认为这帧在原始视频中的排名位置。例如它可能输出第3帧描述...排名2意思是这帧应该是第2个出现的。训练这个VLM用的是一种叫做GRPO的优化方法——可以把它看成一种比较学习让VLM对同一段打乱的视频给出多个不同的排序方案然后看哪个方案的排序结果跟真实的时间顺序最接近最接近的方案就得高分其他方案根据差距得低分VLM从这种比较中学习改进。衡量排序准确度的指标叫做Spearman秩相关系数可以简单理解为你给出的顺序和真实顺序有多吻合完全吻合是1完全相反是-1随机猜测接近0。实验结果显示对于几乎所有的游戏视频这个VLM在最多300步训练之后就能达到0.9以上的相关系数——也就是说它已经能非常准确地从打乱的帧中恢复出原始的时间顺序。这一阶段训练完成后这个VLM就被冷冻起来它的参数不再改变在接下来的所有任务中充当一个固定的进度打分员。---三、第二步把视频里的排名直觉变成游戏中的行动指引VLM学会了看视频、判断进度之后怎么把这种能力转化成真实游戏环境里的奖励信号RTA的第二阶段设计了一个滑动窗口机制像这样工作AI在游戏里每走15步就把最近15步的截图拿出来交给那个被冷冻的VLM打分员。打分员会给这15张截图除了第一张作为锚点外的14张各打一个进度排名。然后把这个预测的排名顺序和这14张截图实际发生的时间顺序第1张、第2张……第14张做对比计算Spearman相关系数。如果AI这15步里一直在往前走、任务进度确实在推进那么打分员给出的排名顺序大概率和时间顺序一致相关系数接近1AI就得到接近1的奖励。如果AI在原地打转、来回走打分员会发现这些帧的排名混乱相关系数接近0甚至负数AI就得到接近0或负的奖励。这个设计有三个非常巧妙的特点。首先分数天然被限制在-1到1之间不会出现某个任务奖励是100、另一个任务奖励是10000这种跨任务没法比较的尴尬情况。其次它只关心顺序是否正确不关心具体的进度数值是多少因此天然对不同任务的进度刻度不同这个问题免疫。第三奖励每15步计算一次而不是每步都算既节省了VLM推理的计算开销也提供了足够的密度来指导学习。为了让这个奖励更稳定每次打分时研究团队会把那14张非锚点的截图随机打乱顺序两次即L2分别让VLM打分然后取两次结果的平均值。这样做是因为单次随机排列可能碰巧遇到特殊情况多次平均能让信号更可靠。---四、在游戏和机械臂任务上的实测效果研究团队在两类环境里测试了RTA一类是在PyBoy模拟器一个运行GameBoy游戏的模拟器上的Catrap和Kirby游戏另一类是PointMaze迷宫导航和MetaWorld机械臂操作任务。Catrap是一个需要逻辑推理和空间规划的益智游戏有些关卡比如第4关和第6关还存在走进死胡同的情况需要AI理解什么时候要回头。Kirby是一个长流程的横版动作游戏AI需要一直往前走直到遇到第一个Boss。所有实验里AI完全收不到任何游戏内置的奖励信号只有RTA提供的进度相关系数作为奖励。对照实验里研究团队设置了几个竞争对手。GVL是直接用未经训练的VLM来判断帧的顺序GVL-Gemini是用谷歌的Gemini大模型做同样的事情VLM-RM是通过比较当前帧和目标帧的相似程度来打分Rank2Reward是另一个基于视频排名的方法Oracle reward则是游戏本身的内置奖励仅作参考并非公平竞争。结果相当显著。在Catrap第2关RTA的成功率达到100%其他方法最高只有60%Rank2Reward。在需要复杂推理的第4关RTA成功率72%远超VLM-RM的16%和Rank2Reward的20%。在第6关RTA达到32%也高于其他所有方法。最值得关注的是KirbyRTA是所有方法中唯一能取得非零成功率的——达到了7%而其他所有方法包括Oracle reward在内的对比项全是0%Rank2Reward未在Kirby上报告结果。这里有一个特别有意思的现象Oracle reward游戏内置奖励在Kirby上的成功率是40%反而明显高于RTA的7%。这说明Kirby这个任务对RTA来说确实更有挑战性——视频中存在滚动背景等视觉干扰让进度打分员有时难以准确判断。但能在完全没有外部奖励的情况下取得任何进展这本身已经很能说明问题。在PointMaze迷宫任务里RTA在成功率和训练速度上都优于Rank2Reward不管是纯排名奖励还是加入了额外辅助信号GAIL风格的混合奖励设置。在MetaWorld的六个机械臂任务开门、拉抽屉、关门、按顶部按钮、用锤子、触碰目标点里RTA加上辅助信号后的表现和Rank2Reward相当甚至在开门和关门任务上更好而RTA的一个关键优势是它用一个统一训练的打分模型服务于所有任务而Rank2Reward需要为每个任务单独训练一个模型。研究团队还专门做了奖励信号质量的量化评估用累积奖励和成功率之间的Pearson相关系数来衡量一个方法的奖励是否真的在指向正确方向。RTA在第2、4、6关和Kirby上的相关系数分别是0.76、0.87、0.42和0.13而GVL的相关系数接近0Rank2Reward甚至是负数VLM-RM在部分关卡也是负相关。这意味着只有RTA的奖励信号真正在牵引AI走向成功其他方法的奖励有时甚至在带着AI走向失败。---五、一个打分员服务多个游戏——泛化能力测试研究团队还想知道如果训练打分员用的视频不是来自当前游戏甚至不是来自同一类视觉风格RTA还能工作吗他们做了一系列跨源训练实验。在一组实验里打分员用完整的Catrap通关视频训练然后去评估Catrap的各个单独关卡——结果成功率在第2关保持100%第4关达到47%第6关达到60%。另一组实验里打分员用YouTube上70个GameBoy游戏不包括Catrap和Kirby的录播视频训练然后直接用来评估Catrap关卡——第2关仍然100%成功第4关47%第6关60%和用Catrap本身训练的结果基本持平。更大胆的是他们还用MetaWorld机械臂任务的视频训练打分员然后拿去评估Catrap游戏——第2关100%第4关高达87%第6关53%。机械臂任务和GameBoy游戏视觉上几乎毫无相似之处但这个打分员依然有效。他们也测试了反向迁移用Catrap视频训练的打分员能否用于MetaWorld任务实验显示不管是用YouTube GameBoy录播还是用家具组装教学视频COIN数据集里的AssembleSofa训练的打分员都能让MetaWorld的任务正常训练大多数任务的表现和用MetaWorld本身数据训练的打分员相当。这种泛化能力在研究团队分析了一个关卡迁移热力图后变得更加清晰他们训练了分别针对Catrap 8个关卡的打分员然后交叉测试用关卡i的打分员去评估关卡j。结果发现从任何关卡训练的打分员迁移到第1关最简单的关卡的效果都相当好说明简单关卡的进度规律更容易被其他关卡的知识覆盖。而混合所有关卡一起训练的打分员在所有关卡上的迁移效果最为稳健。---六、窗口大小的微妙平衡太短太长都不行RTA的奖励信号依赖于一个滑动窗口——每次取最近N步的截图来打分。窗口大小的选择直接影响奖励信号的质量。为了直观展示这一点研究团队设计了一个循环轨迹实验把一段专家操作视频正向播放一段时间然后反向播放一段时间如此循环。在真实意义上这段视频里没有真正的任务进展因为在一直往前走又往回退所以理想的奖励信号应该在循环段里接近0或者为负只在最后真正完成任务时才飙升。测试结果揭示了三种不同的行为模式。当窗口只有1秒时奖励信号即使在循环段也持续上升——因为在极短的时间窗口里相邻的帧总是有局部的顺序关系打分员看不出全局是在循环。这就像只看邻近几秒的录像你以为角色一直在往前走但实际上他在原地打转。当窗口是3到5秒时循环段的奖励开始下降或保持平稳信号能更好地反映没有真正进展的事实。当窗口非常大整段视频时信号反而趋近于零因为循环正反向互相抵消了信息。但有一点是所有窗口大小都表现一致的在循环结束、任务真正推进并完成的那一刻所有大小的窗口都会产生一个明显的奖励峰值准确地标记出真正的成功时刻。这说明RTA的信号对任务完成的识别是鲁棒的只是对中间过程的敏感度受窗口大小影响。消融实验就是逐一改变一个变量看效果的实验还系统验证了其他超参数的影响。窗口长度15帧是表现最稳定的选择过短5帧时成功率略降过大时推理变慢但效果差不多。奖励计算频率每5步、15步、25步对最终成功率影响不大但会影响收敛所需的训练轮数。洗牌次数L减少到1次时奖励信号的稳定性下降训练收敛变慢而增加到4次时效果也没有2次好反而有轻微下降——因此2次是兼顾效果和效率的平衡点。---七、不只是VLM骨架——普通神经网络也能用为了证明RTA的效果来自于奖励信号本身而不是因为使用了强大的VLM作为决策网络研究团队还做了一组换骨架实验把游戏里的决策网络换成一个简单的MLP多层感知机可以理解为一个比VLM简单得多的普通神经网络同样用RTA的进度相关系数奖励来训练用PPO算法优化。结果显示在Catrap第2关和第4关用MLP加上RTA奖励且只在每个回合结束时给一次奖励而不是每15步一次的组合成功率分别达到了100%和100%第6关也是100%。这比VLM加RTA每15步给一次奖励在部分关卡的表现还要高——虽然两种方式各有适合的场景但关键点是RTA奖励在完全不同的网络架构上同样有效说明研究成果的核心价值在于奖励的设计而不是网络的选择。---八、有多快和竞争方法的计算效率比较一个实际问题是RTA用VLM来打分VLM推理比较慢那么它是不是靠更多计算资源赢得比较的研究团队专门做了一个对齐计算预算的对比——不是比较训练了多少步而是比较在相同的总墙钟时间真实经过的时间内各方法分别达到了多高的性能。在MetaWorld的六个任务里RTA在开门、关门、触碰目标三个任务上明显优于Rank2Reward在拉抽屉上基本持平在按按钮和用锤子上稍弱于Rank2Reward。在PointMaze的UMaze任务里RTA在相同时间内的成功率也高于Rank2Reward。由此可见RTA的优势并非来自更多的计算投入而确实来自更好的奖励信号设计。加之RTA可以用一个打分模型服务于所有任务而Rank2Reward需要为每个任务单独训练RTA在实际部署时的综合成本反而更低。---归根结底这项研究告诉我们一件很有趣的事情让AI学会做任务你不一定需要告诉它什么是对、什么是错。只需要给它看一段做对了是什么样子的视频然后教它辨别当前的行为是在靠近还是在远离视频里的样子AI就能自己摸索出正确的路。这种方法之所以有意义不只是因为它在游戏里表现不错更因为它触及了一个更大的应用场景很多真实世界的任务尤其是机器人操作、工业流程、医疗辅助等确实很难设计一套完整的打分规则但总能找到一段专家是怎么做的的视频。RTA为这类场景提供了一条相对实用的路径。当然研究团队也坦率地指出了几个现存的局限。打分员依赖视频数据的质量如果视频太单一或者有偏差打分员的泛化能力就会打折。窗口大小的选择在高度非线性或循环的任务里仍然是个需要调整的参数。VLM本身的推理延迟在实时系统里依然是个实际障碍。在MetaWorld这样需要大量探索的任务里RTA有时会给看起来合理但其实没成功的轨迹打高分这是一个需要进一步解决的问题。这项研究代表了从手工设计奖励向从观察中感知进度转变的一个具体尝试。下一次你看到一个机器人学会了某项新技能它背后的训练也许并没有任何人坐下来告诉它你做对了——它可能只是看了一段视频然后自己琢磨出来的。如果你对技术细节感兴趣可以通过arXiv编号2607.01897找到完整论文。---QAQ1Rank-Then-ActRTA框架是如何避免AI学会视频越后面越好这个偷懒规律的ARTA在训练进度打分员时会把视频帧的顺序随机打乱同时保留第一帧作为固定锚点。因为顺序被打乱了AI无法靠帧在序列中的位置来判断进度只能真正去理解画面内容的变化从而学会辨别哪些视觉变化代表任务推进而不是靠时间作弊。Q2RTA的进度打分员用其他游戏的视频训练后能直接用来评估新游戏吗A大部分情况下可以。实验显示用YouTube上70个GameBoy游戏录像训练的打分员在Catrap游戏各关卡的成功率与用Catrap本身训练的打分员基本持平第2关保持100%成功。甚至用MetaWorld机械臂视频训练的打分员也能让Catrap游戏的AI成功完成任务说明打分员具备相当强的跨域泛化能力。Q3RTA框架适合哪些实际应用场景ARTA特别适合那些难以手动设计奖励规则、但能找到专家操作视频的场景比如工业机器人操作、医疗辅助训练、复杂软件操作自动化等。只要有一段专家是怎么做的的视频RTA就能从中提取进度信号来训练AI不需要额外的打分规则或环境API支持。