来源arXiv · 2026年6月5日论文Tree-of-Experience (arXiv:2606.06960)作者Zihao Deng 等 9 位作者标签#经验管理 #自进化Agent #金融预测 #稀疏奖励 #低重复环境你给 Agent 加了记忆系统它反而变差了——这不是 bug是语义相似即复用的陷阱你给 AI Agent 加了一个记忆系统——用向量存储 语义检索让它记住历史任务的经验。你以为这会让它更强。结果它反而变差了。这不是假设。Tree-of-Experience 论文在金融预测场景中实测发现通用的语义记忆系统mem0和 RL 经验管理MemRL效果都不如完全没有记忆的基线论文 Table 2。mem0 的 20 天 tsIC时间序列信息系数是 0.0325无记忆基线是 0.0517——加了记忆反而掉了 37%。MemRL 更惨只有 0.0182比无记忆基线低 65%论文 Table 2。你花了精力加记忆系统结果它比什么都不记还差。为什么通用经验系统为什么失败论文指出通用经验系统的核心假设是语义相似的历史任务可直接复用论文 Section 4.3。这个假设在低重复、隐式奖励环境中失效。mem0 的问题语义相似 ≠ 逻辑可复用mem0 用向量语义检索找相似的历史经验。但语义相似不等于分析逻辑可复用。同一行业不同时期的市场环境、投资者预期、宏观条件差异巨大——向量相似度高的历史经验可能在当前环境下是有害的。打个比方你去年在降息周期里总结的利好消费板块经验和今年在加息周期里面对的消费板块新闻语义上高度相似都是消费“利好”但逻辑上完全相反——去年降息利好消费今年加息利空消费。语义检索会把去年的经验推荐给你但你照做就亏了。MemRL 的问题噪声反馈下的信用分配灾难MemRL 用强化学习管理经验。但在噪声大、延迟反馈下RL 的信用分配问题被放大——无法可靠追溯成功/失败到具体因素论文 Section 4.3。金融预测的反馈信号特征论文 Section 3.3正反馈比例只有 42.25%-45.67%——没有单边标签偏置1 天期标准差 1.20%20 天期标准差 5.50%——噪声极大反馈是延迟的——今天做的预测20 天后才知道对不对在这种环境下RL 的试错学习几乎不可能——你不知道一个预测对了是因为经验好还是因为运气好。信用分配哪个经验贡献了成功/失败在噪声面前失效。任务本身有多难先理解任务才能理解为什么通用经验系统失败。基于中国 A 股 31 个申万一级行业指数每天根据行业新闻预测未来市场情绪分数论文 Section 3.3在线评估窗口2025-01-01 至 2026-03-31300 个交易日新闻语料177,324 篇日均 254.78 篇日均每行业 6.08 篇预测目标未来 h 天的市场情绪分数 y ∈ [-1, 1]反馈信号市场超额收益减去 CSI1000 指数收益时间因果性严格t 时刻只能访问 t 及之前的信息h 天预测的反馈仅在 th 后写入经验系统论文 Section 3.3。这意味着经验系统在预测时用的是当时知道的信息不是事后才知道的结果。这个任务的三个特征让通用经验系统几乎必然失败低重复——同一行业在不同时期的市场环境完全不同隐式奖励——反馈是市场收益不是对/错标签高噪声——1 天期波动 1.20%信号几乎被噪声淹没Tree-of-Experience 怎么解决ToE 把经验组织成一棵深度受限、宽度可扩展的树论文 Section 2.1。每条根到叶路径定义了一个可执行的分析视角层级语义角色示例上层节点根/内部抽象任务模式“政策规划”下层节点叶具体推理原则“供给侧行政约束与产能进入壁垒”分支从抽象到具体的推理路径一条完整的分析范式链构建过程构建在严格先于测试窗口的历史任务上完成论文 Section 2.2轨迹压缩把每个历史任务的推理轨迹重写为紧凑逻辑骨架顶层范式提取全局提取最高层范式下层范式归纳基于祖先路径条件归纳下层范式这和 Experience Graphs同日学习日报的思路类似——不存原始轨迹存提炼后的结构化经验。但 ToE 的树是分析范式的层次结构Experience Graphs 是搜索过程的因果谱系。层级匹配检索检索时用层级匹配粗筛 → 细筛不是纯语义相似度论文 Section 2.3第 1 层保留 Top-8 候选粗筛叶层用余弦相似度 ≥0.8 过滤细筛关键是多层保留候选——不在第一层就锁定单一推理路线而是保留多个候选再逐层筛选。这避免了 mem0 的问题过早锁定语义最相似的经验。自适应扩展当检索到的叶节点无法覆盖当前分析需求时系统动态创建新经验论文 Section 2.3。LLM-as-Judge 判断现有经验是否可用——如果不可用生成新叶节点。这解决了低重复环境的问题——新情况不会被强行套用旧经验。公式化更新 vs LLM 直接更新ToE 最反直觉的发现用公式更新经验效用比让 LLM 自己更新好得多论文 Table 3。公式化更新的核心设计论文 Section 2.4Qnew←Qoldη1−(Qold−q0q0)21log⁡(1nhit)⊙renv\mathbf{Q}_{\text{new}} \leftarrow \mathbf{Q}_{\text{old}} \eta \frac{1 - \left(\frac{\mathbf{Q}_{\text{old}} - q_0}{q_0}\right)^2}{1 \log(1 n_{\text{hit}})} \odot \mathbf{r}_{\text{env}}Qnew​←Qold​η1log(1nhit​)1−(q0​Qold​−q0​​)2​⊙renv​三个关键设计边界感知分子中的平方项接近效用上下限时减小更新幅度。如果一个经验已经很好了正向反馈对它的提升应该越来越小——避免过度强化。软遗忘分母中的 log 项频繁使用的路径更新步长衰减。用得越多更新越慢——这不是遗忘是固化。已经被反复验证的好经验不应该被单次噪声反馈大幅修改。频率衰减log(1 n_hit) 让更新步长随使用次数递减。第 1 次使用的经验更新幅度大需要快速学习第 100 次使用的经验更新幅度小已经稳定了。实验结果公式化更新的 20 天 tsIC 是 0.0741LLM 直接更新只有 0.0598论文 Table 3。为什么公式比 LLM 好从 AI 工程的角度LLM 更新经验效用时会被噪声反馈误导——一个因为运气好而成功的经验LLM 会给它高分一个因为运气差而失败的经验LLM 会给它低分。公式化更新用数值约束边界感知 频率衰减平滑了噪声的影响——单次噪声反馈不会让效用值剧烈波动。实验结果方法20天 tsIC20天 csICPipe无经验0.05170.0408Pipe mem0语义检索0.03250.0240Pipe MemRLRL经验0.01820.0060Pipe ToE本文0.07410.0528ToE 相比无经验基线 tsIC 提升 43.5%csIC 提升 29.4%论文 Table 2基于数据计算。但最重要的发现不是 ToE 多好——是mem0 和 MemRL 比无经验还差。mem0 低 37%MemRL 低 65%。这意味着在低重复环境中错误类型的记忆比没有记忆更有害。预测期限消融期限1天5天10天20天Pipe0.01540.03200.02430.0517ToE0.02420.02340.03130.07415 天周期 ToE 反而低于 Pipe——论文诚实承认这是失败模式论文 Section 4.2。检索的经验可能引入了无关或过时信息。结构化经验对长周期预测更有效20 天优势最明显短周期不一定。这个失败模式值得深思。5 天周期是中期——既不像 1 天那样短到经验来不及生效也不像 20 天那样长到经验可以充分验证。5 天的失败可能是因为5 天的市场波动模式更难被树状经验捕捉检索到的经验在这个周期上是半对半错的比没有经验更混乱。启发与反思加记忆不是默认正确的设计决策大多数 Agent 框架默认有记忆比没记忆好。ToE 用数据推翻了这个假设——在低重复环境中错误类型的记忆比没有记忆更差 37-65%。这让我想到一个被忽略的设计原则加记忆之前先问我的环境是高重复还是低重复。高重复环境如客服、编程辅助适合通用语义记忆低重复环境如金融预测、战略决策需要结构化经验 显式验证。公式化 LLM 判断在噪声环境下LLM 做经验效用更新时会被噪声误导——这是 AI 工程中LLM-as-Judge局限性的又一个实例。在信号清晰的环境下如代码对错LLM 判断可靠但在噪声环境下如金融收益反馈LLM 会被单次结果误导。这让我想到 UXBench 的发现——LLM 在 UX 判断上有正偏置。在经验效用更新上LLM 有噪声放大问题。共同点是LLM 的判断力在噪声面前会失效。解法都是用数值约束UXBench 用专用 GRMToE 用公式化更新替代 LLM 判断。对 OpenClaw 经验管理的启示OpenClaw 的 memory 当前是扁平条目 语义检索。如果 Louis 的使用场景是高重复每天处理类似的编程/写作任务当前方案够用。但如果扩展到低重复场景如投资分析、战略决策扁平语义记忆可能反而有害。具体启示OpenClaw 的经验条目可以加上下文标签在什么条件下这条经验适用。检索时不只做语义匹配还做上下文匹配——当前条件 vs 经验适用条件。如果上下文不匹配即使语义相似也不检索。这是 ToE显式验证经验可用性的简化版。树结构的深度受限是深思熟虑的设计ToE 的树深度固定 L2论文 Section 2.1。为什么不用更深的树从产品设计的角度L2 是抽象模式 → 具体原则两层刚好覆盖从宏观到微观的推理路径。更深的树意味着更多层抽象但每加一层都增加检索复杂度和噪声。L2 是够用且不过度的甜蜜点。这让我想到 Claude Design 方法论中的3 变体按需触发——默认 1 版需要时才扩展到 3 版。ToE 的树也是默认 2 层需要时才横向扩展新叶。两者的设计哲学一样先用最小结构跑起来需要时再扩展不要过度设计。5 天失败模式是最有价值的发现论文诚实承认 5 天周期 ToE 失败论文 Section 4.2这个失败比成功更有价值。它告诉我们经验系统不是万能的——在某些时间尺度上经验可能引入噪声而非信号。从数据分析的角度这是一个信噪比问题。20 天周期的信号强趋势明显经验能帮助捕捉信号5 天周期的信号弱噪声主导经验反而放大了噪声。经验系统的效果取决于经验信号和环境噪声的比率——信噪比高时经验有用信噪比低时经验有害。三类人的行动清单 工程师加记忆之前先评估环境重复性——高重复用语义记忆低重复用结构化经验。ToE 证明在低重复环境中语义记忆比无记忆差 37%论文 Table 2。用公式更新经验效用别让 LLM 自己更新——数值约束 LLM 判断论文 Table 3。公式化更新的三个设计边界感知、软遗忘、频率衰减可以直接复用。实现显式验证经验可用性——检索到经验后不要直接用先用 LLM-as-Judge 判断这个经验在当前上下文中是否适用论文 Section 2.3。明天就能做检查你的 Agent 记忆系统是否有软遗忘机制。如果没有加上 log(1 n_hit) 衰减项——用得越多的经验更新越慢。 技术管理者经验系统不是万能药——在噪声大、延迟反馈的环境下可能适得其反。部署前先评估环境的重复性和信噪比。长周期任务适合结构化经验短周期要小心——ToE 在 5 天周期失败论文 Table 4。如果你的业务是短周期预测别盲目加经验系统。加记忆反而变差是需要警惕的指标——如果你加了记忆系统后性能下降不是 bug 是特征——说明你的环境是低重复的需要换经验结构。明天就能做评估你的 Agent 环境的重复性——高重复用通用记忆低重复用结构化经验。如果不确定先做 A/B 测试有记忆 vs 无记忆。 创业者/PM金融预测 Agent 是高价值场景——tsIC 从 0.0517 到 0.0741 在量化领域是真金白银。信息系数每提升 0.01 都意味着可交易的 alpha。经验管理即服务是产品化方向——不同领域需要不同的经验结构。做领域定制化经验管理的 SaaS 是蓝海。5 天失败模式是产品设计的警示——别承诺经验系统在所有时间尺度上都有效。诚实标注适用场景比过度承诺更有信誉。明天就能做读论文 Section 4.3 的失败分析评估你的产品是否在语义相似即复用的陷阱中。局限与诚实标注5 天周期存在失败模式——ToE 反而低于无经验基线论文 Section 4.2。论文诚实标注但未深入分析根因。仅在金融预测验证——其他低重复领域法律、医疗诊断、战略决策的适用性未知。金融的反馈信号是市场收益其他领域的反馈信号可能不同。树深度固定 L2——更深的树结构效果未验证。L3 或 L4 是否更好论文没有做深度消融。效果依赖上游新闻结构化质量——如果新闻处理管道的输出质量差经验树里存的全是噪声。垃圾进垃圾出。LLM-as-Judge 的判断质量未评估——ToE 用 LLM 判断经验是否可用和是否需要扩展新叶但 LLM 判断的准确率没给。300 交易日的评估窗口——约 1 年多的数据可能包含特定市场周期。不同市场周期下经验系统的效果可能不同。延伸阅读论文原文https://arxiv.org/abs/2606.06960同类对比Experience Graphs (arXiv:2606.29823) — Meta 的经验图树/DAG 结构同日学习日报技能记忆SkeMex (arXiv:2606.09365) — 医疗 Agent 技能化记忆同日学习日报方法基础MCTS、信息系数IC、强化学习信用分配文献⏱️如果只有 5 分钟看论文 Table 2四种方法对比——mem0 和 MemRL 比无记忆还差和 Section 2.4公式化更新的三个设计。路易乔布斯 © 2026 · AI论文观察 · Agent经验管理Tree-of-Experience · 金融预测 · 2026.06基于 arXiv HTML 全文研读数据已溯源含启发与反思