一、研究背景与问题研究背景LLM大型语言模型代理正成为人工智能发展的重要方向代理记忆是使代理能从环境交互中持续学习、自我进化的关键机制现有代理记忆范式存在根本性局限现有范式的缺陷范式代表方法核心问题参数化记忆SFT, GRPO, REINFORCE修改模型参数导致灾难性遗忘通用知识被侵蚀基于检索的记忆ExpeL, MemoryBank, AWM僵硬的外部检索流程无法实现记忆与推理的深度融合核心研究问题如何将代理记忆构建为一种动态的认知能力使其能够进行流畅的、重构性的过程并与推理无缝交织二、核心创新MemGen 框架MemGen 是一个动态生成式记忆框架由两个协同组件构成1. 记忆触发器Memory Trigger作用元认知监视器监控代理推理状态决定何时调用记忆实现轻量级 LoRA 适配器通过强化学习训练策略仅在句子边界逗号、句号等分隔符处决策保证效率目标平衡关键时机调用记忆与避免过度调用两个竞争目标2. 记忆编织器Memory Weaver作用接收代理当前认知状态生成定制的机器原生潜在记忆实现LoRA 适配器可通过 SFT 或 GRPO 训练输出固定长度 K 的潜在令牌序列机器原生非人类可读特性生成式重构非简单检索选择性综合与过滤关键运作流程推理器生成令牌 → 触发器监控隐藏状态 → 触发调用 → 编织器合成潜在记忆 → 记忆前置到上下文 → 推理器继续生成条件化于记忆形成生成→监控→调用→编织→重新整合的递归循环核心推理器保持冻结。三、实验验证实验设置骨干模型SmolLM3-3B, Qwen2.5-1.5B, Qwen3-8B基准测试ALFWorld, TriviaQA, PopQA, KodCode, BigCodeBench, GPQA, GSM8K, MATH, ScienceWorld, FEVER 等基线对比涵盖参数化记忆SFT, GRPO, REINFORCE和基于检索的记忆ExpeL, MemoryBank, AWM 等两大类主要发现1. 显著性能提升ALFWorld 提升高达 31.7%KodCode 提升 27.1%超越 ExpeL 和 AWM 达 38.22%超越 GRPO 达 13.44%在所有八个基准测试上均取得最佳或次佳结果2. 强大跨域泛化在数学领域训练后科学推理提升 6.06%代码生成提升 5.1%基线方法如 SFT在训练领域提升但在其他领域大幅下降如 FEVER 下降 16.2%MemGen 有效缓解领域迁移时的性能退化3. 持续学习能力顺序学习 AQuA → GPQA → GSM8K → KodCode 四个任务在先前任务上的性能保持显著优于 SFT 和 ExpeL例在 KodCode 训练后AQuA 上保持 40.34%SFT 仅 28.61%ExpeL 仅 27.14%4. 高效推理每查询推理延迟仅为 vanilla LLM 的 24%~94%性能提升高达 57.66%同时降低延迟生成更少但更有效的令牌四、关键机制分析与可解释性RQ2触发器智能决策触发器在不同领域的调用频率不同与性能提升直接相关GSM8K训练域调用频率最高性能提升最大编码和科学推理域调用模式自适应调整缓解领域冲突RQ4自发形成类人记忆层级最重要的理论发现通过 t-SNE 可视化 K-means 聚类 事后干预实验发现 MemGen 在没有显式监督的情况下自发形成了结构化的记忆层级记忆类型对应簇功能描述规划记忆Cluster 2高层任务分解、策略性推理、决策顺序程序性记忆Cluster 3工具使用、结果解析、答案格式化等操作知识工作记忆Clusters 1 4上下文保持、推理一致性维持移除特定簇的潜在记忆会导致对应失败模式的显著增加如移除 Cluster 2 会增加规划失败和组合推理失败移除 Cluster 3 会增加工具响应/解析/格式化错误。关键意义这表明机器智能可能自发向更自然的、类人的认知形态演进为构建真正具有人类认知特征的 AI 系统提供了实证基础。五、技术创新总结范式突破提出第三种记忆范式——动态生成式潜在记忆超越参数化记忆修改参数和基于检索的记忆外部存储的二分法机器原生记忆使用潜在令牌序列而非自然语言作为记忆载体实现高密度、高效的信息存储推理-记忆深度交织在令牌级别实现记忆的动态插入而非仅在任务开始时一次性检索模块化设计推理器完全冻结仅训练轻量级 LoRA 适配器触发器和编织器避免灾难性遗忘框架兼容性可与 SFT、GRPO 等不同优化策略结合可集成外部检索系统六、研究意义与影响理论意义首次证明可通过简单的 RL 训练使代理自发形成类人记忆层级为机器认知如何向自然认知演化提供了实证路径挑战了记忆必须显式建模为可读文本的隐含假设实践意义为构建能持续学习、跨域泛化、不遗忘的自进化代理提供了可行方案推理延迟不升反降兼具性能与效率框架对骨干模型和优化策略无特殊要求易于部署MemGen 不仅是一种性能更优的方法更重要的是展示了一种新的设计哲学——让机器以机器自己的方式机器原生潜在状态来存储和调用记忆而非强制将记忆表达为人类可读形式。这为通用人工智能AGI的自我进化路径提供了重要启示。 MemGen 通过动态生成式潜在记忆实现了推理与记忆的深度交织在性能、泛化、持续学习上全面超越现有范式并自发演化出类人的记忆层级结构为自进化 AI 代理开辟了新方向。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要代理记忆塑造了基于大型语言模型LLM的代理如何像人类大脑一样通过与环境的交互逐步完善自身。现有的范式仍受限于参数化记忆强制调整模型参数而基于检索的记忆则将经验外部化到结构化数据库中但这两种方式都无法捕捉到作为人类认知基础的推理与记忆之间那种流动的、相互交织的特性。为弥补这一空白我们提出了 MemGen一个动态生成式记忆框架为代理配备类似人类的认知能力。它包含一个记忆触发器用于监控代理的推理状态以决定是否显式调用记忆以及一个记忆编织器它将代理的当前状态作为刺激构建一个潜在的令牌序列作为机器原生的记忆以丰富其推理过程。通过这种方式MemGen 使代理能够在整个推理过程中回忆和增强潜在记忆从而形成一个记忆与认知紧密交织的循环。在八个基准测试上的大量实验表明MemGen 超越了领先的外部记忆系统如 ExpeL 和 AWM提升幅度高达 38.22%超过 GRPO 达 13.44%并展现出强大的跨域泛化能力。更重要的是我们发现在没有显式监督的情况下MemGen 自发地演化出独特的人类样记忆能力包括规划记忆、程序性记忆和工作记忆这表明了机器认知正朝着更自然的形态迈进的趋势。1. 引言基于大型语言模型LLM的代理的崛起标志着众多领域的范式转变。这一成功的关键在于代理记忆的概念它使 LLM 代理能够从环境交互中逐步学习。至关重要的是这种代理记忆的概念超越了对话代理即个性化记忆的范畴后者主要作用是维持长周期、多轮对话的连贯性。相反本文的主要范围是使代理能够内化经验、模拟类似人类的认知迭代并逐步提升问题解决能力。作为这种自进化引擎的记忆通常表现为两种主要范式。第一种是I参数化记忆它通过直接更新代理的参数来内化经验。虽然这种方法能带来显著的性能提升但其对参数修改的依赖不可避免地会导致灾难性遗忘即通用知识的侵蚀。相反第二种范式是II基于检索的记忆它将过去的经验外部化到一个结构化数据库中例如i原始轨迹ii高级经验以及iii如可复用 API 或 MCP 盒子等浓缩技能。尽管这种非侵入性方法规避了灾难性遗忘但其有效性从根本上受限于上下文工程。它遵循严格的执行流程向代理提供检索到的上下文却无法实现真正内化记忆所特有的流畅、无缝集成。图 1参数化记忆、基于检索的记忆和 MemGen 之间的比较。我们借鉴了 Li 等人2025a图1的布局设计。鉴于这些缺陷潜在记忆提供了一种引人注目的替代方案利用潜在状态作为一种机器原生的、高密度的记忆媒介。现有方法要么使用i键值缓存来维护动态记忆集但这主要局限于解决长上下文问题要么使用ii潜在令牌嵌入来存储代理经验但这仍然依赖于侵入性的 LLM 参数更新。LatentSeek 和 SoftCoT 也属于这一类利用潜在嵌入来引导代理生成。尽管如此所有这些方法在两个关键维度上与人类认知存在差异它们缺乏推理与记忆的无缝交织——即思维与记忆动态地相互塑造的过程并且它们在很大程度上仍然是基于检索的通过嵌入相似性获取记忆而非生成性地将其重构为新颖、连贯的见解。这引出了我们的核心研究问题我们如何将代理记忆构建为一种动态的认知能力使其能够进行流畅的、重构性的过程并与推理无缝交织为应对这一挑战我们引入了 MemGen一个动态且生成式的记忆框架旨在赋予任何 LLM 代理更接近人类的认知能力。MemGen 的核心是持续监控代理的认知状态使其能够在推理过程中的任何关键时刻动态调用一个生成过程以合成定制的潜在记忆。实际上MemGen 包含两个协同组件一个基于强化学习训练的记忆触发器它充当元认知监视器辨别显式调用记忆的适当时机以及一个记忆编织器它将代理的当前状态作为刺激利用相关的隐式参数化记忆可能辅以外部检索到的信息然后将这种综合重构为简洁的、机器原生的潜在记忆。由于推理核心保持不变MemGen 在接触新数据时从根本上减轻了灾难性遗忘并且超越了先前记忆系统的静态和提取式范式为代理配备了一种与推理核心深度集成的、流畅的生成能力。实验观察。在九个基准测试和四类基线上的广泛实验表明MemGen 带来了•显著的性能提升在 ALFWorld 上提升高达 31.7%在 KodCode 上使用 Qwen3-8B 提升高达 27.1%超越了参数化记忆REINFORCE5.8%和 GRPO 方法5.32%•强大的跨域泛化能力在数学领域训练不仅不会导致其他领域性能下降反而能提升科学推理6.06%和代码生成5.1%的性能•持续学习能力即使在额外三个领域上进行微调后在先前训练过的领域上仍能保持稳定的性能。分析与解读。除了定量评估我们还试图解释 MemGen 学到的行为。通过事后干预研究检查移除特定潜在记忆对代理不同失败模式的影响我们发现 MemGen 自发地将其潜在记忆组织成一个结构化的、类似人类的层级结构包括规划记忆、程序性记忆和工作记忆。这表明 MemGen 不仅提升了性能而且为机器智能的发展开辟了一条更有前景的道路使其更接近人类的认知方式。2. 相关工作LLM 与代理记忆。如第 1 节所述为提升 LLM 代理问题解决能力而设计的现有记忆机制大致可分为三类I参数化记忆要么通过微调将过往经验直接整合到代理参数中如 FireAct (Chen et al., 2023)、AgentLumos (Yin et al., 2024) 及其他工作 (Zhang et al., 2024a; Fu et al., 2025)要么将其保存在外部参数模块中 (Tack et al., 2024; Wang et al., 2024a)II基于检索的记忆将先前经验抽象为可迁移的知识 (Zhang et al., 2025a; Zhao et al., 2024)或将其提炼为可复用的工具和技能 (Zheng et al., 2025; Wang et al., 2025b; Qiu et al., 2025b,a)以及III潜在记忆利用隐式表示来编码和检索经验 (Wang et al., 2024b, 2025a; Hu et al., 2025b; Liu et al., 2024; Sun et al., 2025)。我们的 MemGen 属于潜在记忆范式但区别于先前方法之处在于其更接近人类的推理与记忆交织方式以及其生成式而非纯检索式的本质。潜在计算。我们的方法也与潜在计算密切相关后者利用潜在状态来干预或重塑 LLM 的推理过程 (Zhu et al., 2025)。主要的范式包括I从架构上支持原生潜在推理以 Coconut (Hao et al., 2024)、CODI (Shen et al., 2025)、LatentR3 (Zhang et al., 2025b) 和 CoLaR (Tan et al., 2025) 为代表它们使 LLM 的推理过程本质上是潜在的、机器原生的以及II利用潜在计算来引导 LLM 生成如 LaRS (Xu et al., 2023)、LatentSeek (Li et al., 2025a)、SoftCoT (Xu et al., 2025c,b) 和 Coprocessor (Liu et al., 2024)它们利用潜在表示来调节生成输出的质量。上述工作极大地启发了本文中潜在记忆的设计潜在记忆同样可以被视为后者的一种实例化为增强代理的问题解决能力补充必要的记忆上下文 (Wang et al., 2024b, 2025a)。LLM 解码与强化学习。与我们工作相关的另外两个主题是 LLM 解码和强化学习。从解码的角度来看MemGen 动态生成并插入潜在令牌这与推测解码有相似之处后者中一个草稿模型接收当前解码上下文并生成后续的草稿令牌 (Cai et al., 2024; Fu et al., 2024; Li et al., 2025b; Goel et al., 2025)。然而这些方法主要旨在加速 LLM 推理而 MemGen 则侧重于利用潜在状态作为记忆的有效载体。从强化学习的角度来看MemGen 采用基于规则的强化学习来训练记忆触发器这与具有可变奖励的强化学习密切相关包括 DeepSeek-R1 中的 GRPO (DeepSeek-AI et al., 2025) 及其各种衍生方法 (Qian et al., 2025; Wu et al., 2025a; Wei et al., 2025; Fu et al., 2025)。虽然已有将强化学习与代理记忆结合的工作但据我们所知大多数并未涉及自我完善的记忆例如MemAgent (Yu et al., 2025) 和 MEM1 (Zhou et al., 2025) 侧重于处理长上下文输入而非演化记忆机制。3. 预备知识4. 方法论4.1 MemGen交织记忆与推理正如一个人是其过去经历的总和记忆在塑造代理行为方面也起着关键作用。然而现有的代理记忆系统通常缺乏人类认知的灵活性。在人类大脑中推理和记忆形成一个无缝的连续体前额顶控制网络中的主动推理与海马体和前额叶皮层中的记忆检索相互交织产生连续的思想流。相比之下许多代理记忆范式在任务开始时检索一次信息并将其粗略地附加到查询上。MemGen 的设计正是为了弥补这一差距。这种生成、监控、调用、编织和重新整合的迭代循环将推理从线性展开提升为与记忆的递归对话同时不改变冻结的推理器 πθ​从而保留了其通用能力。在接下来的章节中我们将详细描述记忆触发器第 4.2 节和记忆编织器第 4.3 节的实现。图 2我们提出的 MemGen 概览。4.2 记忆触发器学习调用记忆4.3 记忆编织器合成与插入潜在记忆与基于检索的记忆的集成。尽管上述记忆生成主要依赖编织器的参数化知识但它可以与外部记忆源结合。当被触发时任何基于检索的系统例如 MemoryBank, ExpeL都可以提供文本记忆这些文本记忆与编织器的参数化知识合并以生成最终的潜在记忆。这种混合方法利用了两种范式的优势外部检索提供了事实基础和覆盖范围而编织器的生成能力则将这些信息综合、重构并适应于当前的推理上下文。第 E 节提供了这种集成的形式化描述和实验结果。5. 实验在本节中我们进行了大量实验来回答以下研究问题• RQ1MemGen 能否超越参数化记忆和基于检索的记忆• RQ2MemGen 学到的记忆能否跨任务领域泛化为什么• RQ3MemGen 能否促进持续学习并缓解灾难性遗忘• RQ4MemGen 是否隐式地演化出了类似人类的记忆层级5.1 实验设置评估与基准测试。我们的评估涵盖了来自五个领域的九个数据集包括❶网络搜索TriviaQA (Joshi et al., 2017) 和 PopQA (Mallen et al., 2023)❷具身行动ALFWorld (Shridhar et al., 2021)❸数学推理AQuA (Ling et al., 2017)、GSM8K (Cobbe et al., 2021) 和 MATH (Hendrycks et al., 2021)❹科学推理GPQA (Rein et al., 2023)以及❺代码生成KodCode (Xu et al., 2025d) 和 BigCodeBench (Jain et al., 2024)。基线方法。我们将 MemGen 与十二种基线方法进行比较分为四组I基于提示的方法原始模型Vanilla、思维链CoT(Wei et al., 2023)II参数化记忆经验知识通过以下方式直接修改模型参数SFT、GRPO (DeepSeek-AI et al., 2025)、REINFORCE (Williams, 1992)、REINFORCE (Hu et al., 2025a)、Agent-FLAN (Chen et al., 2024b)III基于检索的记忆顺序处理任务并将经验存储在外部数据库中以 MemoryBank (Zhong et al., 2023)、ExpeL (Zhao et al., 2024)、Agent Workflow Memory (AWM) (Wang et al., 2024c) 为代表以及IV潜在计算利用潜在令牌作为经验知识的载体包括 SoftCoT (Xu et al., 2025c) 和 Co-processor (Liu et al., 2024)。实现细节。我们选择了不同规模的 LLM 骨干网络包括 Qwen-2.5-1.5B (Yang et al., 2024a)、HuggingFace 的 SmolLM3-3B (HuggingFace, 2025) 和 Qwen3-8B (Yang et al., 2025)。每个潜在记忆序列的长度 K 在 {2, 4, 8} 中选取。MemGen 不依赖于特定的优化算法因此我们实现了两个变体MemGenSFT 和MemGenGRPO其中编织器分别使用 SFT 和 GRPO 信号进行更新。有关这些变体的详细信息见附录 B。更多的训练设置和参数配置列于附录 C。5.2 主要结果[针对 RQ1] MemGen 在各领域均提供高性能记忆。如表 1 和表 3 所示现有基线方法在跨域适应性方面表现出明显的局限性。基于检索的记忆例如 ExpeL、MemoryBank、AWM在具身行动任务中有时能超越参数化调优例如在 SmolLM3-3B 上AWM 在 ALFWorld 上达到 36.18%超过 SFT 3.15%。然而它们在推理密集型任务上的效果会恶化ExpeL 在 GPQAQwen2.5-1.5B 上仅达到 8.12%甚至在 TriviaQA 上比原始模型还低 6.9%凸显了其对骨干网络能力的严重依赖。参数化微调方法表现出相反的趋势它们在代码生成等结构化领域表现出色例如在 Qwen2.5-1.5B 上REINFORCE 在 KodCode 上达到 63.33%但在知识密集型推理方面仍然薄弱GPQA 低于 14%。相比之下MemGen 在所有领域都持续提升了性能。例如在 ALFWorldSmolLM3-3B 上MemGen SFT 和 MemGen GRPO 分别达到 50.60% 和 63.60%相比原始模型分别提升了 31.64% 和 44.64%。在更大的 Qwen3-8B 上也出现了类似的提升MemGen GRPO 在 KodCode 上提升 27.06%在 PopQA 上提升 28.17%超过 GRPO 高达 3.4%。总的来说MemGen 的动态记忆插入在不同任务领域都带来了显著的改进。[针对 RQ2] MemGen 展现出强大的跨域泛化能力。为评估 MemGen 学到的记忆能否跨任务迁移我们在一个数据集上训练 MemGen并在其他几个数据集上测试。我们纳入了两个域外数据集 ScienceWorld (Wang et al., 2022) 和 FEVER (Thorne et al., 2018) 以进一步探究这一点。如图 3、9 和 10 所示基线方法如 SFT 和 MemoryBank 在其训练域内取得了提升例如在 ALFWorld 上SFT 提升 14.1%MemoryBank 提升 5.4%但未能泛化性能在 FEVER 上急剧下降 16.2%。相比之下MemGen 不仅在域内取得了显著的改进在 KodCode 上从 24.55% 提升至 58.16%图 10而且还展现出有效的迁移能力当在 KodCode 上训练时MATH 上的性能从 36.6% 提升至 54.2%。在实证验证了 MemGen 的泛化能力后我们进一步探究了支撑这一能力的机制。[针对 RQ2] 记忆触发器智能地决定何时激活记忆插入从而缓解领域冲突。在 GSM8K 上训练 MemGen 后我们从 GSM8K、KodCode 和 GPQA 中各评估 150 个样本并可视化记忆触发器在模型输出的每个相对位置调用记忆编织器的频率。我们观察到调用频率在不同领域间存在差异并且与图 9 中的性能直接相关GSM8K 表现出最大的改进19.64%和最多的调用次数GPQA 获得中等程度的提升6.06%和中等频率的调用而 KodCode 的改进最小3.1%调用次数也最少。这表明 MemGen 能够基于任务特定的上下文自主评估何时插入记忆是有益的在陌生领域中调用编织器的频率较低。[针对 RQ3] MemGen 有效缓解了灾难性遗忘。在表 4 中我们在四个数据集上顺序训练并在每个阶段后评估所有基准测试。MemGen 相比基线方法展现出更强的知识保留能力。例如与主要提升最近任务性能的 SFT在 KodCode 上为 54.10%但在 GPQA 上仅为 2.53%不同MemGen 展现出更均衡的跨任务泛化能力在 GSM8K 训练后在 AQuA 上达到 38.43%在 GPQA 上达到 21.72%。最后它缓解了对早期任务的遗忘在 KodCode 训练后在 AQuA 上保持了 40.34% 的性能相比之下 ExpeL 为 27.14%SFT 为 28.61%表明其具有更稳定的持续学习能力。更多分析见第 D.1 节。5.3 框架分析在确立了 MemGen 的表达能力之后我们进一步研究其底层机制学到的潜在记忆是什么样的它们是否具有专门化的功能[针对 RQ4] 潜在记忆是机器原生的人类不可读。我们首先使用 t-SNE 在图 5 和图 11 中可视化了 MemGen 在不同数据集上学到的潜在记忆序列。如图 5左所示来自不同领域的序列形成了各自的分布相关领域聚类紧密例如KodCode 和 BigCodeBenchGSM8K 和 MATH。检查同一数据集内的潜在记忆我们观察到了明显的聚类模式如图 5中和右所示。为探索这些聚类内部的潜在共性我们强制解码了潜在令牌。尽管解码后的序列人类不可读但它们展现出有趣的规律性一个聚类中的许多令牌共享结构性的惯例。例如TriviaQA 中的聚类 0 经常遵循 “[...]SOC” 的模式而 GSM8K 中的聚类 3 通常采用 “[...]_pick” 的格式。附录 F 中提供了大量的潜在记忆令牌样本。尽管这些序列是机器原生的且人类不可读我们进一步探究了它们底层的语义是否可以被解释。[针对 RQ4] MemGen 隐式地学习到了类似人类的记忆层级。为揭示不同潜在记忆聚类的功能角色我们进行了一项事后干预研究。遵循 Song 等人 (2025) 的分类法我们研究了八种不同类型的代理失败包括规划错误、工具响应/解析失败、答案格式错误等提供了一个结构化的框架来评估记忆如何影响性能。在评估过程中我们选择性地移除了接近特定聚类的潜在令牌同时保持其他令牌不变并测量这些失败模式中产生的变化。关于1可视化过程、2失败模式标注和3令牌过滤的详细信息见附录 G。如图 6右所示不同的记忆聚类对失败模式表现出不同的影响可以映射到不同的记忆功能规划记忆支持高层任务规划和策略性推理。移除聚类 2 会显著增加规划和组合推理失败表明该聚类对于引导 LLM 代理的决策制定和推理步骤排序至关重要。程序性记忆捕获任务特定的操作知识例如工具使用和格式化能力。聚类 3 对应这一角色因为移除它会导致工具响应错误、解析失败和答案格式错误的显著增加。工作记忆管理先前上下文的保留和有效利用以维持推理一致性。聚类 1 和 4 对这一功能有贡献例如移除聚类 1 的记忆令牌会导致更频繁的任务误解和思考-行动不一致。然而这些记忆聚类并非完全独立例如移除聚类 1 也会对规划能力产生负面影响表明这些记忆功能相互作用共同使 LLM 能够有效利用过往经验。这一分析表明MemGen 自发地将潜在记忆组织成一个结构化的、类似人类的层级。消融研究与敏感性分析。我们对潜在记忆序列的长度 K 进行了敏感性分析如图 6左所示。可以观察到随着潜在令牌长度从 2 增加到 32MemGen 的性能相应提升这可能反映了记忆容量的扩大。随后我们在表 5 中对记忆触发器模块进行了消融研究证明了专门训练的触发器对于有效调用记忆的必要性。此外我们在表 6 中分析了记忆编织器的不同训练范式。更多结果和讨论见第 D.3 节。效率分析。为确认 MemGen 的记忆插入过程不会引入显著的推理开销我们在第 D.3.3 节中展示尽管相比原始 LLM 实现了高达 57.66% 的性能提升但每查询的推理延迟始终低于基线范围在原始 LLM 延迟的 24% 到 94% 之间。这清楚地表明MemGen 在不影响效率的前提下带来了显著的性能提升。6. 结论在这项工作中我们引入了 MemGen一个为 LLM 代理设计的动态生成式记忆框架。通过强化学习训练的记忆触发器和生成式记忆编织器将推理与记忆合成交织在一起MemGen 超越了参数化和基于检索范式的局限性。大量实验展示了其显著的性能提升、强大的跨域泛化能力、出色的持续学习能力以及显式建模的记忆层级结构即规划记忆、程序性记忆和工作记忆。这些结果表明MemGen 为开发能够进行流畅和重构性智能的自进化 LLM 代理指明了一条有前景的道路。