ai-memory 遥测报告与提案评分实战如何用 3 个命令看懂 AI 记忆自动改进效果【免费下载链接】ai-memorySolution for long term memory for agent coding CLIs and to facilitate handoff between different agent vendors项目地址: https://gitcode.com/GitHub_Trending/ai/ai-memoryai-memory 是一个为 AI 编码 Agent 提供长期记忆、并支持在不同 Agent 工具之间交接的开源项目。它的auto-improve-report子命令可以一键生成只读遥测报告配合 eval gate提案评分机制让你快速看清自动改进的批准率、拒绝原因和高频目标——哪怕你是第一次接触 AI 记忆系统也能在几分钟内上手。先搞懂ai-memory 的自动改进提案是什么在谈遥测报告之前先建立一个基础概念记忆页wiki pageai-memory 会为每个项目维护一份 Markdown 形式的知识库包含gotchas/踩坑记录、decisions/决策、procedures/操作流程、_rules/规则等目录。自动改进提案proposal当配置了 LLM 提供方后ai-memory 会在会话结束后自动复盘把可复用的经验整理成一条条待写入的提案进入审批/审计流程而不是直接改动你的记忆库。遥测报告回答这些自动提案质量到底怎么样——批准了多少、拒绝了多少、常见拒绝原因是什么。整个过程的设计思路可以阅读 docs/auto-improvement-loop.md核心原则是自动学习永远走先提案、后审批的安全路径。一键生成遥测报告auto-improve-report 最快上手步骤在项目目录下执行一条命令即可默认统计最近 30 天ai-memory auto-improve-report --days 30 --limit 10常用参数只有几个非常好记参数作用默认值--days统计回看窗口天30--limit每张 Top-N 统计表的行数10--workspace/--project指定工作区与项目默认自动推断自动--stage把报告暂存为一个待审批页面关--json输出纯机器可读 JSON关命令输出先给人看的摘要随后附上一段--- machine-readable ---的 JSON方便你直接粘给 Agent 做进一步分析。报告生成逻辑在crates/ai-memory-consolidate/src/auto_improve_telemetry.rsCLI 侧实现在crates/ai-memory-cli/src/commands/auto_improve_report.rs。一份典型输出长这样Auto-improve telemetry for my-projectSummary: 4 run(s), 6 terminal learning proposal(s), 50.0% approved in the last 30 day(s).Rates: approved 50.0%, rejected 33.3%, conflict 0.0%, failed 16.7%Top targets:procedures/release.md: 2gotchas/deploy.md: 1Findings: 2pending_learning_proposals_excluded [info]: 1 pending learning proposal(s) ...如何读懂遥测报告批准率、拒绝原因与高频目标 4 大板块遥测报告分为 4 个关键板块按顺序看即可1. 终端提案速率Terminal Rates只统计已尘埃落定的学习类提案approved、rejected、conflict、failed四种状态。待审批pending和纯维护类提案都不计入分母所以批准率不会被排队中的提案稀释。2. 分类计数Counts按状态、操作类型、编辑模式、页面类型分组计数另有两个最实用的表Top learning targets被提案最多的页面——这是自动改进最活跃的区域Rejections by reason拒绝原因排行其中eval_gate_*开头的条目来自提案评分下文细讲。3. 发现项Findings报告自动生成有界的运营信号例如repeated_rejection_fingerprint [warning]同一个拒绝指纹反复出现提示某类提案在持续被拒值得人工介入pending_learning_proposals_excluded [info]提醒你有多少提案还在排队。4. 已知盲区Blind Spots报告诚实地列出本版本统计不到的东西比如 LLM 在提案落库前报错不会计入拒绝统计。读报告时先看这一段能避免误判数据。用 --stage 暂存遥测页面让报告进入人工审核流遥测报告默认是纯只读的但如果想把它沉淀为团队可见的文档加上--stageai-memory auto-improve-report --stage --days 30它会把报告渲染成一个标准的 wiki Markdown 页面含批准率、分类计数、发现项、盲区等章节暂存为待审批提案。这个动作本身也走正常审批流批准它只会存储这个页面绝不会顺带修改规则、流程或元数据页。若同一页面已有提案在排队输出中会以Skipped:明确说明被跳过的目标与原因不会让你对着空结果发懵。eval gate 提案评分实战给自动改进装上一道质量门遥测报告里那些eval_gate_failed拒绝来自提案评分机制在 LLM 校验之后、提案落库之前运行一个你可自定义的小型打分器scorer不合格就失败即关闭fail closed地拒绝该条提案但同一批次其他提案不受影响。配置在 server 端参考 docs/auto-improve-eval-gates.md[auto_improve.eval]下开启enabled true指定command如仓库自带的 Python 打分脚本、timeout_secs 30、targets [_rules, procedures]以及min_delta 0.0。打分器的工作方式很简单它从 stdin 收到一个 JSON包含提案路径、before_body/after_body正文、置信度等计算修改前后的分数向 stdout 输出{passed: true, score_before: 0.72, score_after: 0.76}passed false或分数增量不足min_delta时该提案被拒。仓库自带了一个零依赖的示例打分器docs/examples/auto-improve-eval/score_proposal.py它检查流程页是否有 Purpose/Steps 结构、规则页是否避免 TODO 占位符并使用祈使语气。你只需配合示例载荷docs/examples/auto-improve-eval/sample-proposal.json在本地试跑就能照葫芦画瓢写自己的评分规则。设计打分器的三条军规保持确定性、快速、无副作用不调用 LLM、不改文件、不依赖网络拒绝理由要短而具体。常见问题FAQQ1跑遥测报告会影响我的记忆库吗不会。默认输出是纯只读的只有显式加--stage才会暂存一个待审批页面且批准后也只保存报告页本身。Q2批准率偏低我该怎么排查先看 Rejections by reason 排行如果是eval_gate_*说明质量门在生效可检查打分器阈值如果是重复指纹告警说明某类提案模板有问题值得调整复盘 prompt 或人工介入。Q3为什么 pending 提案不算进批准率这是刻意设计终端速率的分母只含四种终态避免排队中的提案稀释或虚增指标报告中也会用 finding 明确提示有多少 pending 被排除。Q4提案评分超时怎么办超时的提案直接按失败处理fail closed其余提案继续。打分器应保持轻量官方示例脚本的打分通常在一秒内完成。小结auto-improve-report用一条只读命令回答我的 AI 记忆系统自我改进得怎么样--stage让结论可沉淀、可审核eval gate 提案评分则在源头把好质量关。三者组合起来就是一条完整的遥测 → 发现 → 评分 → 改进闭环让 ai-memory 的自动学习既大胆又可审计。【免费下载链接】ai-memorySolution for long term memory for agent coding CLIs and to facilitate handoff between different agent vendors项目地址: https://gitcode.com/GitHub_Trending/ai/ai-memory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 ai-memory 遥测报告与提案评分实战：如何用 3 个命令看懂 AI 记忆自动改进效果
ai-memory 遥测报告与提案评分实战如何用 3 个命令看懂 AI 记忆自动改进效果【免费下载链接】ai-memorySolution for long term memory for agent coding CLIs and to facilitate handoff between different agent vendors项目地址: https://gitcode.com/GitHub_Trending/ai/ai-memoryai-memory 是一个为 AI 编码 Agent 提供长期记忆、并支持在不同 Agent 工具之间交接的开源项目。它的auto-improve-report子命令可以一键生成只读遥测报告配合 eval gate提案评分机制让你快速看清自动改进的批准率、拒绝原因和高频目标——哪怕你是第一次接触 AI 记忆系统也能在几分钟内上手。先搞懂ai-memory 的自动改进提案是什么在谈遥测报告之前先建立一个基础概念记忆页wiki pageai-memory 会为每个项目维护一份 Markdown 形式的知识库包含gotchas/踩坑记录、decisions/决策、procedures/操作流程、_rules/规则等目录。自动改进提案proposal当配置了 LLM 提供方后ai-memory 会在会话结束后自动复盘把可复用的经验整理成一条条待写入的提案进入审批/审计流程而不是直接改动你的记忆库。遥测报告回答这些自动提案质量到底怎么样——批准了多少、拒绝了多少、常见拒绝原因是什么。整个过程的设计思路可以阅读 docs/auto-improvement-loop.md核心原则是自动学习永远走先提案、后审批的安全路径。一键生成遥测报告auto-improve-report 最快上手步骤在项目目录下执行一条命令即可默认统计最近 30 天ai-memory auto-improve-report --days 30 --limit 10常用参数只有几个非常好记参数作用默认值--days统计回看窗口天30--limit每张 Top-N 统计表的行数10--workspace/--project指定工作区与项目默认自动推断自动--stage把报告暂存为一个待审批页面关--json输出纯机器可读 JSON关命令输出先给人看的摘要随后附上一段--- machine-readable ---的 JSON方便你直接粘给 Agent 做进一步分析。报告生成逻辑在crates/ai-memory-consolidate/src/auto_improve_telemetry.rsCLI 侧实现在crates/ai-memory-cli/src/commands/auto_improve_report.rs。一份典型输出长这样Auto-improve telemetry for my-projectSummary: 4 run(s), 6 terminal learning proposal(s), 50.0% approved in the last 30 day(s).Rates: approved 50.0%, rejected 33.3%, conflict 0.0%, failed 16.7%Top targets:procedures/release.md: 2gotchas/deploy.md: 1Findings: 2pending_learning_proposals_excluded [info]: 1 pending learning proposal(s) ...如何读懂遥测报告批准率、拒绝原因与高频目标 4 大板块遥测报告分为 4 个关键板块按顺序看即可1. 终端提案速率Terminal Rates只统计已尘埃落定的学习类提案approved、rejected、conflict、failed四种状态。待审批pending和纯维护类提案都不计入分母所以批准率不会被排队中的提案稀释。2. 分类计数Counts按状态、操作类型、编辑模式、页面类型分组计数另有两个最实用的表Top learning targets被提案最多的页面——这是自动改进最活跃的区域Rejections by reason拒绝原因排行其中eval_gate_*开头的条目来自提案评分下文细讲。3. 发现项Findings报告自动生成有界的运营信号例如repeated_rejection_fingerprint [warning]同一个拒绝指纹反复出现提示某类提案在持续被拒值得人工介入pending_learning_proposals_excluded [info]提醒你有多少提案还在排队。4. 已知盲区Blind Spots报告诚实地列出本版本统计不到的东西比如 LLM 在提案落库前报错不会计入拒绝统计。读报告时先看这一段能避免误判数据。用 --stage 暂存遥测页面让报告进入人工审核流遥测报告默认是纯只读的但如果想把它沉淀为团队可见的文档加上--stageai-memory auto-improve-report --stage --days 30它会把报告渲染成一个标准的 wiki Markdown 页面含批准率、分类计数、发现项、盲区等章节暂存为待审批提案。这个动作本身也走正常审批流批准它只会存储这个页面绝不会顺带修改规则、流程或元数据页。若同一页面已有提案在排队输出中会以Skipped:明确说明被跳过的目标与原因不会让你对着空结果发懵。eval gate 提案评分实战给自动改进装上一道质量门遥测报告里那些eval_gate_failed拒绝来自提案评分机制在 LLM 校验之后、提案落库之前运行一个你可自定义的小型打分器scorer不合格就失败即关闭fail closed地拒绝该条提案但同一批次其他提案不受影响。配置在 server 端参考 docs/auto-improve-eval-gates.md[auto_improve.eval]下开启enabled true指定command如仓库自带的 Python 打分脚本、timeout_secs 30、targets [_rules, procedures]以及min_delta 0.0。打分器的工作方式很简单它从 stdin 收到一个 JSON包含提案路径、before_body/after_body正文、置信度等计算修改前后的分数向 stdout 输出{passed: true, score_before: 0.72, score_after: 0.76}passed false或分数增量不足min_delta时该提案被拒。仓库自带了一个零依赖的示例打分器docs/examples/auto-improve-eval/score_proposal.py它检查流程页是否有 Purpose/Steps 结构、规则页是否避免 TODO 占位符并使用祈使语气。你只需配合示例载荷docs/examples/auto-improve-eval/sample-proposal.json在本地试跑就能照葫芦画瓢写自己的评分规则。设计打分器的三条军规保持确定性、快速、无副作用不调用 LLM、不改文件、不依赖网络拒绝理由要短而具体。常见问题FAQQ1跑遥测报告会影响我的记忆库吗不会。默认输出是纯只读的只有显式加--stage才会暂存一个待审批页面且批准后也只保存报告页本身。Q2批准率偏低我该怎么排查先看 Rejections by reason 排行如果是eval_gate_*说明质量门在生效可检查打分器阈值如果是重复指纹告警说明某类提案模板有问题值得调整复盘 prompt 或人工介入。Q3为什么 pending 提案不算进批准率这是刻意设计终端速率的分母只含四种终态避免排队中的提案稀释或虚增指标报告中也会用 finding 明确提示有多少 pending 被排除。Q4提案评分超时怎么办超时的提案直接按失败处理fail closed其余提案继续。打分器应保持轻量官方示例脚本的打分通常在一秒内完成。小结auto-improve-report用一条只读命令回答我的 AI 记忆系统自我改进得怎么样--stage让结论可沉淀、可审核eval gate 提案评分则在源头把好质量关。三者组合起来就是一条完整的遥测 → 发现 → 评分 → 改进闭环让 ai-memory 的自动学习既大胆又可审计。【免费下载链接】ai-memorySolution for long term memory for agent coding CLIs and to facilitate handoff between different agent vendors项目地址: https://gitcode.com/GitHub_Trending/ai/ai-memory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考