1. 项目缘起当LLM智能体开始“健忘”最近在折腾一个基于大语言模型的具身智能体项目目标是让它能在一个模拟的厨房环境里完成“做一份三明治”这样的多步骤任务。一开始我直接调用了GPT-4的API把环境状态和任务目标一股脑塞给它让它生成每一步的动作指令。效果嘛初看惊艳细看头疼。智能体经常在任务中途“失忆”它可能刚把面包从柜子里拿出来转头就忘了黄油放在哪里或者切完番茄后不记得下一步该铺生菜还是先涂酱料。更典型的是当任务被打断比如中途需要去处理一个突然响起的计时器智能体几乎无法回到原来的任务流中。这暴露了当前LLM作为智能体“大脑”的一个核心短板它缺乏一个持续、连贯且能动态演化的记忆系统。LLM本质上是基于上下文的“瞬时记忆者”它的“记忆”完全依赖于我们喂给它的prompt长度。一旦对话或任务步骤超出这个窗口或者信息过于庞杂关键细节就会被“挤出”上下文导致决策质量断崖式下跌。这就像让一个只有7秒记忆的鱼去完成一份需要20个步骤的菜谱结果可想而知。于是“BrainMem: Brain-Inspired Evolving Memory for Embodied Agent Task Planning”这个想法应运而生。它的核心目标不是替换LLM而是为它构建一个类脑的、持续演化的外部记忆系统让智能体能够像人一样记住任务目标、过往经验、环境状态和自身行动并基于这些记忆进行有效的长期规划。这不仅仅是增加一个向量数据库那么简单而是借鉴神经科学中关于记忆形成、巩固、检索和遗忘的机制设计一套与LLM协同工作的记忆架构。2. 核心设计理念从海马体到新皮质的记忆环路在动手写代码之前我们先要厘清“类脑记忆”到底意味着什么。人脑的记忆系统是分层且动态的。短期记忆工作记忆就像大脑的“便签纸”容量有限但处理迅速重要的信息会通过海马体等结构的加工转化为长期记忆存储在新皮质中这个过程被称为“记忆巩固”而当我们需要时又能通过特定的线索从庞大的长期记忆网络中快速检索出相关信息。BrainMem的设计正是基于这一隐喻将其映射到具身智能体的软件架构中2.1 记忆的三层结构第一层情景缓冲器这对应着LLM当前的上下文窗口是智能体的“意识焦点”。它容量最小但速度最快直接与LLM的推理和决策模块交互。BrainMem不直接扩展这个窗口而是致力于高效地为它提供最相关的“记忆碎片”。第二层工作记忆/短期记忆这是一个在程序内存中维护的、结构化的临时存储区。它记录当前任务执行的核心状态例如任务栈当前正在执行的主任务和所有子任务。环境快照最近几个时间步内感知到的关键物体、位置及其属性。行动历史智能体刚刚执行过的动作序列及其结果成功/失败。临时目标为解决突发状况如避开障碍物而生成的短期目标。工作记忆是动态的随着智能体的每一步行动而更新。它的核心功能是维持任务的连贯性。第三层长期记忆这是系统的核心是一个外部存储通常是向量数据库关系型数据库/图数据库。它又分为几个不同的“记忆区”程序性记忆存储关于“如何做”的知识。例如“使用微波炉”的标准步骤流程开门 - 放入食物 - 关门 - 设置时间 - 启动。这可以通过从知识库中提取或由LLM总结过往成功经验生成。情景性记忆存储智能体亲身经历的“事件”。每个事件是一个结构化的记录包含时间戳、地点、涉及的对象、执行的动作序列以及最终结果成功/失败。这是进行类比学习和经验复用的基础。语义记忆存储关于世界的常识和对象属性。例如“刀是锋利的可以用来切割”“牛奶需要冷藏”。这部分知识可以初始化为从外部知识图谱导入也可以在智能体探索过程中由LLM观察归纳后存入。目标记忆存储长期目标和已完成的目标。这帮助智能体在长周期任务中保持方向感。2.2 记忆的动态演化编码、巩固、检索与遗忘静态的记忆库没有价值BrainMem的灵魂在于其动态演化机制。1. 记忆编码每当智能体执行一个动作、感知到一个新状态或完成一个子目标时都会产生原始的“记忆痕迹”。BrainMem的编码器一个轻量级模型或一组启发式规则会将这些痕迹结构化并提取关键特征embedding准备存入工作记忆或长期记忆。2. 记忆巩固这是模仿海马体功能的关键。并非所有进入工作记忆的信息都会进入长期记忆。BrainMem采用基于重要性评分的巩固策略。重要性由多个因素决定目标相关性该信息与当前核心目标的关联度。新奇性该信息是否前所未见或与预期不符。情感效价简化版关联的任务结果是成功正向还是失败负向。失败的经历往往具有更高的学习价值。访问频率在工作记忆中被反复调用的信息。重要性高的记忆会被优先写入长期记忆。这个过程可以是定时的如每N个时间步也可以是事件触发的如完成一个子目标后。3. 记忆检索当LLM需要做出决策时BrainMem的检索模块开始工作。它接收当前的查询如“我接下来该做什么”或“黄油通常放在哪里”并从长期记忆中查找最相关的信息。检索不是简单的向量相似度搜索而是多路召回与融合向量检索基于查询的embedding从情景性、语义性记忆中查找相似片段。图检索如果记忆以图形式存储对象-关系-事件则可以通过图遍历查找关联信息。例如通过“黄油”节点找到“冰箱”节点和“涂抹”关系。时序检索从工作记忆的行动历史中检索最近的相关动作。检索到的多个记忆片段经过一个重排序模块可用一个小型LLM或交叉编码器根据与当前上下文的相关性进行排序和去重最终合成一个简洁的“记忆提示”注入到LLM的上下文窗口中。4. 记忆遗忘是的智能体也需要“忘记”。无限增长的记忆库会导致检索效率下降和存储成本飙升。BrainMem实现了可控的遗忘机制基于时间的衰减长期未被访问的记忆其重要性分数会随时间衰减。基于干扰的覆盖当存入关于同一实体或事件的、更新更准确的信息时旧记忆会被弱化或标记为过时。主动修剪定期清理重要性分数低于阈值的记忆条目。这套“编码-巩固-检索-遗忘”的循环使得BrainMem成为一个活的、不断成长和优化的记忆系统而非一个静态数据库。3. 系统架构与核心模块实现理论说完了我们来看代码怎么组织。BrainMem作为一个独立于具体LLM和机器人平台的服务其核心架构如下图所示概念图[环境感知] -- [感知处理器] -- [原始观察] | v [LLM决策器] -- [记忆增强上下文] -- [记忆检索与融合模块] ^ | [动作执行] -- [动作输出] ------ [记忆编码与巩固模块] ^ | [工作记忆] -- [长期记忆存储]下面拆解几个关键模块的实现要点。3.1 记忆的表示与存储记忆条目Memory Entry的数据结构class MemoryEntry: def __init__(self, id, content, embedding, metadata): self.id id # 唯一标识 self.content content # 记忆内容的文本描述 self.embedding embedding # 文本的向量表示用于检索 self.metadata metadata # 字典包含 # - type: episodic, semantic, procedural, goal # - timestamp: 创建时间 # - importance_score: 当前重要性分数 # - access_count: 被检索次数 # - last_access_time: 最后访问时间 # - source: 记忆来源如observation, llm_generation # - related_entities: 关联的实体列表如[knife, tomato] # - related_events: 关联的事件ID列表存储后端选型向量数据库用于支持高效的相似性检索。ChromaDB或Qdrant是不错的选择它们轻量、易用且支持按元数据过滤。将embedding和metadata一起存储。辅助索引为了支持图检索和复杂查询可以同时使用一个简单的SQLite关系数据库来存储记忆条目之间的关系如“事件A使用了物体B”或者直接使用Neo4j等图数据库。对于原型系统SQLite足以胜任。3.2 记忆编码器与重要性评估编码器的任务是将原始观察“我看到桌上有一把红色的刀”或LLM的推理结果“我决定拿起刀”转化为结构化的记忆条目并给出初始的重要性评分。class MemoryEncoder: def __init__(self, embedding_model): self.embedding_model embedding_model # 例如sentence-transformers/all-MiniLM-L6-v2 def encode_observation(self, obs_text, current_goal): # 1. 生成embedding embedding self.embedding_model.encode(obs_text) # 2. 结构化内容 (这里可以用LLM或规则) # 例如用一个小型LLM或预定义的NER模型提取实体和动作 structured_content self._extract_entities_and_relations(obs_text) # 3. 计算初始重要性 importance self._compute_initial_importance(obs_text, current_goal) # 4. 构建记忆条目 metadata { type: episodic, timestamp: time.time(), importance_score: importance, access_count: 0, source: observation, related_entities: structured_content[entities] } return MemoryEntry(idgenerate_uuid(), contentobs_text, embeddingembedding, metadatametadata) def _compute_initial_importance(self, text, goal): score 0.5 # 基础分 # 规则1包含目标相关实体加分 if any(entity in goal for entity in self._extract_entities(text)): score 0.3 # 规则2包含异常或失败关键词如broken, cannot加分 if any(word in text for word in [fail, error, block, cannot]): score 0.4 # 规则3是动作执行结果而非单纯状态描述加分 if any(word in text for word in [picked up, placed, opened, turned on]): score 0.2 return min(score, 1.0) # 归一化到[0,1]3.3 记忆检索与融合器这是决定记忆系统效能的咽喉要道。我们需要从海量记忆中快速找到最相关的几条。class MemoryRetriever: def __init__(self, vector_store, graph_index): self.vector_store vector_store # ChromaDB客户端 self.graph_index graph_index # SQLite/Neo4j客户端 def retrieve(self, query, current_context, top_k5): relevant_memories [] # 1. 向量检索 (主体) query_embedding self.embedding_model.encode(query) vector_results self.vector_store.query( query_embeddings[query_embedding], n_resultstop_k*2, # 多召回一些 where{metadata: {type: {$in: [episodic, semantic]}}} # 按类型过滤 ) # 2. 图检索 (补充关联记忆) # 例如从当前上下文中的实体出发在图数据库中查找与之相关的事件 current_entities extract_entities(current_context) graph_results [] for entity in current_entities[:3]: # 取前3个实体查询 related_events self.graph_index.query_events_by_entity(entity) graph_results.extend(related_events) # 3. 融合与去重 all_candidates self._merge_and_deduplicate(vector_results, graph_results) # 4. 重排序使用一个轻量级交叉编码器或基于规则的评分 # 规则包括时序临近性、目标相关性、记忆重要性分数、来源可信度 reranked self._rerank_memories(all_candidates, query, current_context) # 5. 格式化为LLM可理解的提示 memory_prompt self._format_for_llm(reranked[:top_k]) return memory_prompt def _rerank_memories(self, memories, query, context): # 简化版规则重排序 for mem in memories: score mem.metadata.get(importance_score, 0.5) # 提升近期记忆的权重 recency 1.0 / (time.time() - mem.metadata[timestamp] 1) # 提升与当前任务目标相关性的权重 (需预先计算) relevance self._compute_relevance(mem.content, context.get(current_goal, )) mem.rerank_score 0.5*score 0.3*recency 0.2*relevance memories.sort(keylambda x: x.rerank_score, reverseTrue) return memories最终memory_prompt会被构造成类似这样的格式拼接到LLM的原始提示词中## 相关记忆回顾 - 2分钟前你成功从冰箱里拿出了黄油和生菜。 - 5分钟前你发现番茄在右侧的料理台上。 - 在之前的尝试中如果你先涂蛋黄酱再放生菜生菜容易滑落。 - 常识切番茄通常需要使用刀和砧板。 ## 当前任务与状态 你的目标是制作一个三明治。你已经完成了1. 拿出面包。2. 切好番茄。当前你手里拿着刀砧板上有切好的番茄。 ## 请规划下一步动作3.4 记忆巩固与遗忘调度器这是一个后台进程定期或在事件触发时运行。class MemoryConsolidator: def __init__(self, working_memory, long_term_memory): self.working_mem working_memory self.long_term_mem long_term_memory self.consolidation_threshold 0.7 # 重要性阈值 def periodic_consolidation(self): # 检查工作记忆中所有条目 for mem in self.working_mem.get_all(): if mem.metadata[importance_score] self.consolidation_threshold: # 写入长期记忆 self.long_term_mem.add(mem) # 可选在工作记忆中标记为已巩固 mem.metadata[consolidated] True # 清理工作记忆中已巩固或低重要性的旧条目 self.working_mem.cleanup() def periodic_forgetting(self): # 遍历长期记忆降低未被访问的记忆的重要性 all_memories self.long_term_mem.get_all() for mem in all_memories: time_since_last_access time.time() - mem.metadata[last_access_time] # 衰减公式重要性随时间指数衰减 decay_factor math.exp(-time_since_last_access / (30*24*3600)) # 30天半衰期 mem.metadata[importance_score] * decay_factor # 如果重要性低于阈值则标记为待删除 if mem.metadata[importance_score] 0.1: mem.metadata[marked_for_deletion] True # 执行删除或移至归档 self.long_term_mem.delete_marked()4. 与LLM智能体的集成实践BrainMem是一个独立服务通过API与主智能体循环交互。一个典型的工作流程如下感知智能体从环境获得观察obs。记忆编码将obs和当前任务目标goal送入BrainMem的编码器生成记忆条目存入工作记忆。记忆检索智能体准备决策。BrainMem接收当前状态查询如“我当前在厨房中央手里空着目标做三明治”从长期记忆中检索相关记忆并融合成提示片段memory_prompt。决策将memory_prompt、obs、goal以及系统指令共同构成完整的提示发送给LLM如GPT-4。LLM输出下一步动作action。执行与反馈执行action获得新的观察obs_new和奖励/完成信号。记忆更新与巩固根据行动结果成功/失败更新相关记忆的重要性分数。如果完成了一个子目标或发生了重要事件触发记忆巩固流程将工作记忆中的重要内容写入长期记忆。循环回到步骤1。关键集成细节提示工程需要精心设计提示词模板让LLM学会理解和利用提供的记忆。例如明确指示“请基于以下相关记忆进行规划”。记忆的粒度记忆条目不宜过长或过短。一个事件“拿起刀”或一个事实“刀在砧板旁”是合适的粒度。过于琐碎的观察会淹没关键信息。更新频率不是每一步都需要进行完整的检索和巩固。可以设定每K步进行一次深度检索或者当检测到智能体“困惑”如连续重复无效动作时触发。5. 实测效果、挑战与优化方向在模拟厨房环境中为基线LLM智能体无记忆和BrainMem增强型智能体设置了相同的多步骤任务如“煮咖啡并清理台面”。初步测试显示任务完成率BrainMem智能体在长序列任务15步中的完成率比基线高出约40%。基线智能体常在步骤8-10后开始出现目标偏离或重复动作。抗干扰能力在任务中途插入一个临时子任务如“先去把嘀嘀响的计时器关掉”后BrainMem智能体有70%的概率能正确返回主任务并继续而基线智能体几乎全部失败。学习能力在多次尝试中BrainMem智能体能记住导致失败的操作如“在未关闭电源的情况下向咖啡机加水会导致短路错误”并在后续尝试中避免表现出简单的经验学习能力。遇到的挑战与坑点记忆冲突与噪声错误的或无关的记忆被检索出来反而会干扰LLM判断。解决方案引入更精细的重排序模型并设置相关性阈值过滤掉低置信度的记忆。同时在记忆编码时对失败或不确定的观察加上置信度标签。重要性评分不准初期基于简单规则的重要性评分有时会让琐碎信息进入长期记忆而关键信息却被遗忘。优化引入一个微调的小型神经网络作为重要性评估器使用智能体任务成功与否作为远程监督信号进行训练。检索延迟当记忆库变大后检索速度可能成为实时决策的瓶颈。优化采用分层检索策略先根据元数据如类型、时间范围过滤出一小部分候选集再进行精确的向量/图检索。对工作记忆进行索引以实现毫秒级访问。LLM的“记忆依赖症”有时LLM会过度依赖提供的记忆而忽略了当前观察中更直接的信息。调整在提示词中明确强调“请综合参考以下记忆和当前观察”并调整记忆提示在上下文中的位置和权重。未来的优化方向记忆的主动推理目前的记忆系统是被动响应查询。未来可以让BrainMem具备简单的主动推理能力例如检测到当前目标与过往失败经历相似时主动向LLM发出警告提示。记忆的抽象与压缩像人脑一样将多个具体事件抽象成更高层的“模式”或“技能”存储。例如将十次“成功泡茶”的经历压缩成一个通用的“泡茶程序性记忆”。多模态记忆当前主要处理文本。对于具身智能体视觉记忆物体外观、场景布局同样重要。需要扩展系统以支持图像特征的存储和联合检索。分布式与社会化记忆多个智能体之间是否可以共享记忆一个智能体学到的经验能否通过“记忆上传-下载”的方式让其他智能体快速获得这打开了群体智能的新可能。6. 结语记忆是智能的基石BrainMem项目的实践让我深刻体会到要实现真正稳健、能适应复杂环境的具身智能仅仅依靠一个庞大的语言模型是远远不够的。模型参数再大其固化的、静态的知识也无法应对动态世界中无穷无尽的细微变化和长程任务依赖。为LLM配备一个类脑的、持续演化的记忆系统相当于为它赋予了“经历”和“成长”的能力。这个记忆系统不再是一个简单的缓存或数据库而是一个能够主动编码、巩固、联想和遗忘的认知器官。它让智能体能够从自己的成功与失败中学习能够将过去的知识灵活应用于新的情境能够在纷繁的信息流中保持目标的专注。虽然目前的实现还有很多粗糙之处重要性评估、检索精度、与LLM的默契配合都亟待提升但这条路的方向是清晰的。当我们为这些数字大脑装上越来越精巧的“海马体”和“新皮质”时它们或许才能真正开始理解我们所处的这个世界并留下属于它们自己的、不断生长的“记忆轨迹”。这不仅仅是工程上的优化更是迈向更通用、更健壮人工智能的关键一步。 为LLM智能体构建类脑记忆系统：BrainMem架构设计与工程实践
1. 项目缘起当LLM智能体开始“健忘”最近在折腾一个基于大语言模型的具身智能体项目目标是让它能在一个模拟的厨房环境里完成“做一份三明治”这样的多步骤任务。一开始我直接调用了GPT-4的API把环境状态和任务目标一股脑塞给它让它生成每一步的动作指令。效果嘛初看惊艳细看头疼。智能体经常在任务中途“失忆”它可能刚把面包从柜子里拿出来转头就忘了黄油放在哪里或者切完番茄后不记得下一步该铺生菜还是先涂酱料。更典型的是当任务被打断比如中途需要去处理一个突然响起的计时器智能体几乎无法回到原来的任务流中。这暴露了当前LLM作为智能体“大脑”的一个核心短板它缺乏一个持续、连贯且能动态演化的记忆系统。LLM本质上是基于上下文的“瞬时记忆者”它的“记忆”完全依赖于我们喂给它的prompt长度。一旦对话或任务步骤超出这个窗口或者信息过于庞杂关键细节就会被“挤出”上下文导致决策质量断崖式下跌。这就像让一个只有7秒记忆的鱼去完成一份需要20个步骤的菜谱结果可想而知。于是“BrainMem: Brain-Inspired Evolving Memory for Embodied Agent Task Planning”这个想法应运而生。它的核心目标不是替换LLM而是为它构建一个类脑的、持续演化的外部记忆系统让智能体能够像人一样记住任务目标、过往经验、环境状态和自身行动并基于这些记忆进行有效的长期规划。这不仅仅是增加一个向量数据库那么简单而是借鉴神经科学中关于记忆形成、巩固、检索和遗忘的机制设计一套与LLM协同工作的记忆架构。2. 核心设计理念从海马体到新皮质的记忆环路在动手写代码之前我们先要厘清“类脑记忆”到底意味着什么。人脑的记忆系统是分层且动态的。短期记忆工作记忆就像大脑的“便签纸”容量有限但处理迅速重要的信息会通过海马体等结构的加工转化为长期记忆存储在新皮质中这个过程被称为“记忆巩固”而当我们需要时又能通过特定的线索从庞大的长期记忆网络中快速检索出相关信息。BrainMem的设计正是基于这一隐喻将其映射到具身智能体的软件架构中2.1 记忆的三层结构第一层情景缓冲器这对应着LLM当前的上下文窗口是智能体的“意识焦点”。它容量最小但速度最快直接与LLM的推理和决策模块交互。BrainMem不直接扩展这个窗口而是致力于高效地为它提供最相关的“记忆碎片”。第二层工作记忆/短期记忆这是一个在程序内存中维护的、结构化的临时存储区。它记录当前任务执行的核心状态例如任务栈当前正在执行的主任务和所有子任务。环境快照最近几个时间步内感知到的关键物体、位置及其属性。行动历史智能体刚刚执行过的动作序列及其结果成功/失败。临时目标为解决突发状况如避开障碍物而生成的短期目标。工作记忆是动态的随着智能体的每一步行动而更新。它的核心功能是维持任务的连贯性。第三层长期记忆这是系统的核心是一个外部存储通常是向量数据库关系型数据库/图数据库。它又分为几个不同的“记忆区”程序性记忆存储关于“如何做”的知识。例如“使用微波炉”的标准步骤流程开门 - 放入食物 - 关门 - 设置时间 - 启动。这可以通过从知识库中提取或由LLM总结过往成功经验生成。情景性记忆存储智能体亲身经历的“事件”。每个事件是一个结构化的记录包含时间戳、地点、涉及的对象、执行的动作序列以及最终结果成功/失败。这是进行类比学习和经验复用的基础。语义记忆存储关于世界的常识和对象属性。例如“刀是锋利的可以用来切割”“牛奶需要冷藏”。这部分知识可以初始化为从外部知识图谱导入也可以在智能体探索过程中由LLM观察归纳后存入。目标记忆存储长期目标和已完成的目标。这帮助智能体在长周期任务中保持方向感。2.2 记忆的动态演化编码、巩固、检索与遗忘静态的记忆库没有价值BrainMem的灵魂在于其动态演化机制。1. 记忆编码每当智能体执行一个动作、感知到一个新状态或完成一个子目标时都会产生原始的“记忆痕迹”。BrainMem的编码器一个轻量级模型或一组启发式规则会将这些痕迹结构化并提取关键特征embedding准备存入工作记忆或长期记忆。2. 记忆巩固这是模仿海马体功能的关键。并非所有进入工作记忆的信息都会进入长期记忆。BrainMem采用基于重要性评分的巩固策略。重要性由多个因素决定目标相关性该信息与当前核心目标的关联度。新奇性该信息是否前所未见或与预期不符。情感效价简化版关联的任务结果是成功正向还是失败负向。失败的经历往往具有更高的学习价值。访问频率在工作记忆中被反复调用的信息。重要性高的记忆会被优先写入长期记忆。这个过程可以是定时的如每N个时间步也可以是事件触发的如完成一个子目标后。3. 记忆检索当LLM需要做出决策时BrainMem的检索模块开始工作。它接收当前的查询如“我接下来该做什么”或“黄油通常放在哪里”并从长期记忆中查找最相关的信息。检索不是简单的向量相似度搜索而是多路召回与融合向量检索基于查询的embedding从情景性、语义性记忆中查找相似片段。图检索如果记忆以图形式存储对象-关系-事件则可以通过图遍历查找关联信息。例如通过“黄油”节点找到“冰箱”节点和“涂抹”关系。时序检索从工作记忆的行动历史中检索最近的相关动作。检索到的多个记忆片段经过一个重排序模块可用一个小型LLM或交叉编码器根据与当前上下文的相关性进行排序和去重最终合成一个简洁的“记忆提示”注入到LLM的上下文窗口中。4. 记忆遗忘是的智能体也需要“忘记”。无限增长的记忆库会导致检索效率下降和存储成本飙升。BrainMem实现了可控的遗忘机制基于时间的衰减长期未被访问的记忆其重要性分数会随时间衰减。基于干扰的覆盖当存入关于同一实体或事件的、更新更准确的信息时旧记忆会被弱化或标记为过时。主动修剪定期清理重要性分数低于阈值的记忆条目。这套“编码-巩固-检索-遗忘”的循环使得BrainMem成为一个活的、不断成长和优化的记忆系统而非一个静态数据库。3. 系统架构与核心模块实现理论说完了我们来看代码怎么组织。BrainMem作为一个独立于具体LLM和机器人平台的服务其核心架构如下图所示概念图[环境感知] -- [感知处理器] -- [原始观察] | v [LLM决策器] -- [记忆增强上下文] -- [记忆检索与融合模块] ^ | [动作执行] -- [动作输出] ------ [记忆编码与巩固模块] ^ | [工作记忆] -- [长期记忆存储]下面拆解几个关键模块的实现要点。3.1 记忆的表示与存储记忆条目Memory Entry的数据结构class MemoryEntry: def __init__(self, id, content, embedding, metadata): self.id id # 唯一标识 self.content content # 记忆内容的文本描述 self.embedding embedding # 文本的向量表示用于检索 self.metadata metadata # 字典包含 # - type: episodic, semantic, procedural, goal # - timestamp: 创建时间 # - importance_score: 当前重要性分数 # - access_count: 被检索次数 # - last_access_time: 最后访问时间 # - source: 记忆来源如observation, llm_generation # - related_entities: 关联的实体列表如[knife, tomato] # - related_events: 关联的事件ID列表存储后端选型向量数据库用于支持高效的相似性检索。ChromaDB或Qdrant是不错的选择它们轻量、易用且支持按元数据过滤。将embedding和metadata一起存储。辅助索引为了支持图检索和复杂查询可以同时使用一个简单的SQLite关系数据库来存储记忆条目之间的关系如“事件A使用了物体B”或者直接使用Neo4j等图数据库。对于原型系统SQLite足以胜任。3.2 记忆编码器与重要性评估编码器的任务是将原始观察“我看到桌上有一把红色的刀”或LLM的推理结果“我决定拿起刀”转化为结构化的记忆条目并给出初始的重要性评分。class MemoryEncoder: def __init__(self, embedding_model): self.embedding_model embedding_model # 例如sentence-transformers/all-MiniLM-L6-v2 def encode_observation(self, obs_text, current_goal): # 1. 生成embedding embedding self.embedding_model.encode(obs_text) # 2. 结构化内容 (这里可以用LLM或规则) # 例如用一个小型LLM或预定义的NER模型提取实体和动作 structured_content self._extract_entities_and_relations(obs_text) # 3. 计算初始重要性 importance self._compute_initial_importance(obs_text, current_goal) # 4. 构建记忆条目 metadata { type: episodic, timestamp: time.time(), importance_score: importance, access_count: 0, source: observation, related_entities: structured_content[entities] } return MemoryEntry(idgenerate_uuid(), contentobs_text, embeddingembedding, metadatametadata) def _compute_initial_importance(self, text, goal): score 0.5 # 基础分 # 规则1包含目标相关实体加分 if any(entity in goal for entity in self._extract_entities(text)): score 0.3 # 规则2包含异常或失败关键词如broken, cannot加分 if any(word in text for word in [fail, error, block, cannot]): score 0.4 # 规则3是动作执行结果而非单纯状态描述加分 if any(word in text for word in [picked up, placed, opened, turned on]): score 0.2 return min(score, 1.0) # 归一化到[0,1]3.3 记忆检索与融合器这是决定记忆系统效能的咽喉要道。我们需要从海量记忆中快速找到最相关的几条。class MemoryRetriever: def __init__(self, vector_store, graph_index): self.vector_store vector_store # ChromaDB客户端 self.graph_index graph_index # SQLite/Neo4j客户端 def retrieve(self, query, current_context, top_k5): relevant_memories [] # 1. 向量检索 (主体) query_embedding self.embedding_model.encode(query) vector_results self.vector_store.query( query_embeddings[query_embedding], n_resultstop_k*2, # 多召回一些 where{metadata: {type: {$in: [episodic, semantic]}}} # 按类型过滤 ) # 2. 图检索 (补充关联记忆) # 例如从当前上下文中的实体出发在图数据库中查找与之相关的事件 current_entities extract_entities(current_context) graph_results [] for entity in current_entities[:3]: # 取前3个实体查询 related_events self.graph_index.query_events_by_entity(entity) graph_results.extend(related_events) # 3. 融合与去重 all_candidates self._merge_and_deduplicate(vector_results, graph_results) # 4. 重排序使用一个轻量级交叉编码器或基于规则的评分 # 规则包括时序临近性、目标相关性、记忆重要性分数、来源可信度 reranked self._rerank_memories(all_candidates, query, current_context) # 5. 格式化为LLM可理解的提示 memory_prompt self._format_for_llm(reranked[:top_k]) return memory_prompt def _rerank_memories(self, memories, query, context): # 简化版规则重排序 for mem in memories: score mem.metadata.get(importance_score, 0.5) # 提升近期记忆的权重 recency 1.0 / (time.time() - mem.metadata[timestamp] 1) # 提升与当前任务目标相关性的权重 (需预先计算) relevance self._compute_relevance(mem.content, context.get(current_goal, )) mem.rerank_score 0.5*score 0.3*recency 0.2*relevance memories.sort(keylambda x: x.rerank_score, reverseTrue) return memories最终memory_prompt会被构造成类似这样的格式拼接到LLM的原始提示词中## 相关记忆回顾 - 2分钟前你成功从冰箱里拿出了黄油和生菜。 - 5分钟前你发现番茄在右侧的料理台上。 - 在之前的尝试中如果你先涂蛋黄酱再放生菜生菜容易滑落。 - 常识切番茄通常需要使用刀和砧板。 ## 当前任务与状态 你的目标是制作一个三明治。你已经完成了1. 拿出面包。2. 切好番茄。当前你手里拿着刀砧板上有切好的番茄。 ## 请规划下一步动作3.4 记忆巩固与遗忘调度器这是一个后台进程定期或在事件触发时运行。class MemoryConsolidator: def __init__(self, working_memory, long_term_memory): self.working_mem working_memory self.long_term_mem long_term_memory self.consolidation_threshold 0.7 # 重要性阈值 def periodic_consolidation(self): # 检查工作记忆中所有条目 for mem in self.working_mem.get_all(): if mem.metadata[importance_score] self.consolidation_threshold: # 写入长期记忆 self.long_term_mem.add(mem) # 可选在工作记忆中标记为已巩固 mem.metadata[consolidated] True # 清理工作记忆中已巩固或低重要性的旧条目 self.working_mem.cleanup() def periodic_forgetting(self): # 遍历长期记忆降低未被访问的记忆的重要性 all_memories self.long_term_mem.get_all() for mem in all_memories: time_since_last_access time.time() - mem.metadata[last_access_time] # 衰减公式重要性随时间指数衰减 decay_factor math.exp(-time_since_last_access / (30*24*3600)) # 30天半衰期 mem.metadata[importance_score] * decay_factor # 如果重要性低于阈值则标记为待删除 if mem.metadata[importance_score] 0.1: mem.metadata[marked_for_deletion] True # 执行删除或移至归档 self.long_term_mem.delete_marked()4. 与LLM智能体的集成实践BrainMem是一个独立服务通过API与主智能体循环交互。一个典型的工作流程如下感知智能体从环境获得观察obs。记忆编码将obs和当前任务目标goal送入BrainMem的编码器生成记忆条目存入工作记忆。记忆检索智能体准备决策。BrainMem接收当前状态查询如“我当前在厨房中央手里空着目标做三明治”从长期记忆中检索相关记忆并融合成提示片段memory_prompt。决策将memory_prompt、obs、goal以及系统指令共同构成完整的提示发送给LLM如GPT-4。LLM输出下一步动作action。执行与反馈执行action获得新的观察obs_new和奖励/完成信号。记忆更新与巩固根据行动结果成功/失败更新相关记忆的重要性分数。如果完成了一个子目标或发生了重要事件触发记忆巩固流程将工作记忆中的重要内容写入长期记忆。循环回到步骤1。关键集成细节提示工程需要精心设计提示词模板让LLM学会理解和利用提供的记忆。例如明确指示“请基于以下相关记忆进行规划”。记忆的粒度记忆条目不宜过长或过短。一个事件“拿起刀”或一个事实“刀在砧板旁”是合适的粒度。过于琐碎的观察会淹没关键信息。更新频率不是每一步都需要进行完整的检索和巩固。可以设定每K步进行一次深度检索或者当检测到智能体“困惑”如连续重复无效动作时触发。5. 实测效果、挑战与优化方向在模拟厨房环境中为基线LLM智能体无记忆和BrainMem增强型智能体设置了相同的多步骤任务如“煮咖啡并清理台面”。初步测试显示任务完成率BrainMem智能体在长序列任务15步中的完成率比基线高出约40%。基线智能体常在步骤8-10后开始出现目标偏离或重复动作。抗干扰能力在任务中途插入一个临时子任务如“先去把嘀嘀响的计时器关掉”后BrainMem智能体有70%的概率能正确返回主任务并继续而基线智能体几乎全部失败。学习能力在多次尝试中BrainMem智能体能记住导致失败的操作如“在未关闭电源的情况下向咖啡机加水会导致短路错误”并在后续尝试中避免表现出简单的经验学习能力。遇到的挑战与坑点记忆冲突与噪声错误的或无关的记忆被检索出来反而会干扰LLM判断。解决方案引入更精细的重排序模型并设置相关性阈值过滤掉低置信度的记忆。同时在记忆编码时对失败或不确定的观察加上置信度标签。重要性评分不准初期基于简单规则的重要性评分有时会让琐碎信息进入长期记忆而关键信息却被遗忘。优化引入一个微调的小型神经网络作为重要性评估器使用智能体任务成功与否作为远程监督信号进行训练。检索延迟当记忆库变大后检索速度可能成为实时决策的瓶颈。优化采用分层检索策略先根据元数据如类型、时间范围过滤出一小部分候选集再进行精确的向量/图检索。对工作记忆进行索引以实现毫秒级访问。LLM的“记忆依赖症”有时LLM会过度依赖提供的记忆而忽略了当前观察中更直接的信息。调整在提示词中明确强调“请综合参考以下记忆和当前观察”并调整记忆提示在上下文中的位置和权重。未来的优化方向记忆的主动推理目前的记忆系统是被动响应查询。未来可以让BrainMem具备简单的主动推理能力例如检测到当前目标与过往失败经历相似时主动向LLM发出警告提示。记忆的抽象与压缩像人脑一样将多个具体事件抽象成更高层的“模式”或“技能”存储。例如将十次“成功泡茶”的经历压缩成一个通用的“泡茶程序性记忆”。多模态记忆当前主要处理文本。对于具身智能体视觉记忆物体外观、场景布局同样重要。需要扩展系统以支持图像特征的存储和联合检索。分布式与社会化记忆多个智能体之间是否可以共享记忆一个智能体学到的经验能否通过“记忆上传-下载”的方式让其他智能体快速获得这打开了群体智能的新可能。6. 结语记忆是智能的基石BrainMem项目的实践让我深刻体会到要实现真正稳健、能适应复杂环境的具身智能仅仅依靠一个庞大的语言模型是远远不够的。模型参数再大其固化的、静态的知识也无法应对动态世界中无穷无尽的细微变化和长程任务依赖。为LLM配备一个类脑的、持续演化的记忆系统相当于为它赋予了“经历”和“成长”的能力。这个记忆系统不再是一个简单的缓存或数据库而是一个能够主动编码、巩固、联想和遗忘的认知器官。它让智能体能够从自己的成功与失败中学习能够将过去的知识灵活应用于新的情境能够在纷繁的信息流中保持目标的专注。虽然目前的实现还有很多粗糙之处重要性评估、检索精度、与LLM的默契配合都亟待提升但这条路的方向是清晰的。当我们为这些数字大脑装上越来越精巧的“海马体”和“新皮质”时它们或许才能真正开始理解我们所处的这个世界并留下属于它们自己的、不断生长的“记忆轨迹”。这不仅仅是工程上的优化更是迈向更通用、更健壮人工智能的关键一步。