1. 项目概述从执行轨迹中窥探Agent的“独门秘籍”最近在折腾AI Agent的开发与安全评估一个绕不开的难题浮出水面我们如何知道一个“黑盒”Agent到底会什么它内部封装了哪些我们不知道的、可能极具价值的“技能”Skills这不仅仅是好奇心作祟。在考虑集成一个第三方Agent、进行安全审计或是评估其能力边界时理解其私有技能集至关重要。然而厂商或开发者通常不会公开这些核心能力的详细清单这就引出了我们这次要深入探讨的主题——通过分析Agent的执行轨迹Execution Trajectories来推断其内部的私有技能Proprietary Skills。简单来说这就像是通过观察一位武术高手的实战录像执行轨迹来反推他可能练过哪些门派的招式技能即使他从未公开过自己的师承。在AI Agent领域一个“技能”可以是一个调用特定API的函数、一个处理复杂逻辑的模块或是一个访问专有知识库的能力。这些技能是Agent的核心竞争力往往被精心保护。我们的目标就是在不接触其内部代码和权重的前提下仅通过其与外界的交互记录将这些隐藏的技能“挖”出来。这项工作直接关联到几个关键领域首先是Agent安全技能泄露Skill Leakage可能暴露其依赖的敏感服务或数据源其次是能力评估为Agent的能力测绘Capability Mapping提供实证方法再者是逆向工程与竞品分析理解先进Agent如传闻中的Hermes Agent、Claude等的能力构成。围绕这个主题社区已经出现了一些初步的探索和工具例如SigLeak这类概念指的就是从交互签名中泄露技能信息。接下来我将结合实践中的思路、方法和踩过的坑为你系统性地拆解如何从执行轨迹中推断Agent技能。2. 核心概念与问题定义什么是技能与执行轨迹在深入技术细节之前我们必须先统一“语言”明确几个核心概念。这能帮助我们在后续的分析中保持清晰的思路。2.1 Agent技能的多元定义在当前的语境下“技能”并非一个单一的概念它可以根据抽象层次和实现方式分为几类工具调用型技能这是最常见、最易观测的一类。Agent通过预定义的格式如OpenAI的Function Calling或ReAct范式中的Tool: ...调用外部工具。例如search_web(query),execute_sql(database, query),send_email(to, subject, body)。从轨迹中识别出工具名称和参数模式就能直接映射到一个技能。内部函数/模块型技能这类技能不涉及外部API调用而是在Agent内部完成的复杂处理。例如一个“文本总结”技能可能由内部的提示词工程Prompt Engineering和多个LLM调用链构成一个“代码调试”技能可能包含静态分析、动态测试等内部逻辑。这类技能的痕迹更隐蔽通常体现在输入输出的语义转换和中间步骤的思维链Chain-of-Thought中。知识检索型技能Agent能够访问特定的、非公开的知识库或数据集。例如回答关于某公司内部政策的问题或生成特定技术栈的冷门代码。这并非通过一个明显的“工具”调用实现而是通过检索增强生成RAG流程。其轨迹特征可能包括对特定知识源索引的引用或输出中包含了非公开数据。规划与编排型技能这是一种元技能指Agent将多个基础技能组合起来解决复杂任务的能力。例如完成“分析上周销售数据并生成报告”的任务需要依次调用数据查询、数据分析、图表生成、文档编写等多个技能。从轨迹中识别出这种多步骤、有状态的协作模式本身就是在推断一种高阶的规划技能。实操心得在实际分析中不要预设技能的类型。先从最明显的工具调用入手再逐步深入到更隐晦的内部函数和知识访问模式。一个复杂的Agent通常混合了多种技能类型。2.2 执行轨迹的构成与采集执行轨迹是Agent在完成任务过程中与环境用户、工具、知识库交互的完整记录。一条丰富的轨迹应包含以下要素用户输入/查询任务的初始描述。Agent的思考过程如果Agent输出思维链这是黄金信息。它揭示了任务分解的逻辑和技能调用的意图。动作序列Agent发出的具体动作主要是工具调用包括工具名和参数。观察结果工具执行后返回的结果。最终输出Agent返回给用户的最终答案或成果。采集轨迹通常有两种方式主动探测设计一系列涵盖不同领域的测试用例Test Suite主动向Agent提问或下达指令并记录其所有响应。这需要系统的测试设计。被动监听在Agent的生产环境或测试环境的日志中收集真实的交互记录。这种方式数据更真实但可能噪音更大且涉及隐私和安全合规问题。注意在采集和使用任何执行轨迹数据时必须严格遵守相关法律法规和数据隐私政策。对于第三方Agent未经授权的深度探测可能违反其服务条款。本文讨论的方法主要用于安全研究、自家产品的审计或获得明确授权的评估场景。2.3 技能推断的核心挑战这项工作绝非简单的模式匹配我们面临着几个核心挑战黑盒性我们无法看到Agent内部的代码、提示词或权重所有推断必须基于外部可观测的交互。技能组合与抽象一个复杂输出可能是多个基础技能组合的结果。如何区分一个“生成财报摘要”的技能和一个“总结”技能加上一个“金融知识”技能的组合非确定性LLM驱动的Agent具有一定随机性同一任务多次执行可能产生不同的轨迹这要求我们的推断方法具有鲁棒性。信息隐藏聪明的Agent设计者可能会有意模糊或泛化工具调用例如将所有数据查询都通过一个通用的query_internal_api(endpoint, params)工具来完成以隐藏内部的数据结构。轨迹噪声轨迹中可能包含无关的尝试、错误或回退步骤需要有效过滤。3. 技能推断的方法论与实践框架基于上述挑战我总结了一套从粗到细、从显性到隐性的技能推断实践框架。这套方法融合了规则匹配、统计分析以及语义分析在实际项目中证明是有效的。3.1 方法一基于工具调用签名的直接映射这是最直接、最可靠的第一层分析。目标是识别出轨迹中所有显式的工具调用。操作步骤解析轨迹编写脚本从轨迹日志中正则提取或根据结构化标记如JSON解析出所有的工具调用动作。关键字段是action_name或tool_name和action_input参数。签名规范化将工具名和参数结构进行规范化。例如search_web(“AI news”)和web_search(query: “AI news”)可能指向同一技能。需要建立一个同义词或标准化名称的映射表。参数模式分析分析同一工具调用下的参数。例如如果execute_sql的参数中频繁出现table_name: “sales_2024”这可能暗示Agent拥有“访问2024销售数据”的特定技能。参数值的类型字符串、数字、复杂对象和模式也能提供线索。构建技能清单将规范化后的工具调用汇总形成初步的“工具型技能”清单。每个技能条目应包括技能名称、功能描述从调用上下文中推断、典型参数模式、调用频率。示例分析假设从轨迹中解析出以下调用1. action: get_weather, input: {“city”: “Beijing”} 2. action: calculate, input: {“expression”: “(1527)*0.8”} 3. action: search_knowledge_base, input: {“topic”: “company_pto_policy”, “version”: “2024”} 4. action: send_notification, input: {“channel”: “email”, “recipient”: “teamexample.com”, “content”: “Report ready”}我们可以推断出该Agent至少拥有天气查询、数学计算、内部知识库检索特定于公司休假政策、邮件通知这四个技能。3.2 方法二基于输入输出对的语义聚类与模式归纳当技能没有显式工具调用或是内部函数时我们需要通过分析任务的“输入”和Agent的“最终输出”之间的关系来推断。操作步骤构建任务-输出对从轨迹中提取每个独立任务的用户输入和Agent的最终输出形成一个配对数据集。语义编码使用一个嵌入模型如text-embedding-3-small将所有的“输入”和“输出”文本分别转换为高维向量。聚类分析对“输出”向量进行聚类如使用K-means或DBSCAN。同一簇内的输出在语义或格式上应具有相似性。例如一个簇可能全是“JSON格式的数据摘要”另一个簇全是“步骤清晰的教程”。关联输入分析驱动每个输出簇的输入特征。如果某个输出簇如“代码片段”总是由包含“write a function to...”或“implement...”的输入所触发那么我们可以高度置信地推断Agent拥有“代码生成”技能。模式命名为每个有清晰模式的输入-输出簇命名这就是推断出的技能。例如“将自然语言查询转换为SQL语句”、“将长文档总结为要点列表”。实操心得聚类数量的选择K值是个难点。我通常先用肘部法则或轮廓系数确定一个大致范围然后人工审查几个K值下的聚类结果选择那个能产生最“合乎逻辑”的技能分类的值。有时一个技能可能对应多个语义相近的簇。3.3 方法三基于思维链的流程挖掘与技能图谱构建如果Agent输出了详细的思维链CoT这为我们打开了一扇窥视其内部决策过程的窗户。我们可以进行更精细的“流程挖掘”。操作步骤步骤分割与标注将思维链文本按“Thought:”, “Action:”, “Observation:”等标记分割成独立的步骤。步骤类型分类为每个步骤打上标签如“问题分解”、“信息检索”、“逻辑推理”、“计算”、“格式化输出”等。这可以基于关键词规则或训练一个简单的文本分类器。流程模型发现使用流程挖掘算法如Alpha算法或其变种分析步骤类型序列发现常见的任务处理模式。例如你可能会发现一个固定模式“问题分解” - “信息检索多次” - “逻辑推理/整合” - “格式化输出”。映射到技能这些高频出现的处理模式本身就是一种“流程型技能”或“策略”。同时模式中固定出现的某些步骤类型可能对应着具体的底层技能。例如如果“信息检索”步骤后总是紧跟着一个“数据可视化”步骤那么“检索后可视化”就可能是一个复合技能。示例面对任务“对比React和Vue在大型项目中的优劣”Agent的思维链可能显示Thought: 用户需要一份对比报告。我需要先分别查找React和Vue在大型项目中的特点然后提取关键维度进行对比最后组织成表格。 Action: search_web(query: “React large scale project best practices 2024”) Observation: [关于React的搜索结果...] Action: search_web(query: “Vue.js enterprise scalability case studies”) Observation: [关于Vue的搜索结果...] Thought: 我获得了足够信息。现在从性能、生态、学习曲线、团队协作四个维度进行对比。 Action: format_as_table(data: [对比数据...], columns: [“维度”, “React”, “Vue”])从这个轨迹我们不仅可以推断出网络搜索和表格格式化这两个基础技能更能推断出一个高阶的技术栈对比分析技能其内部流程是“双路径信息检索 - 多维度分析 - 结构化呈现”。3.4 方法四异常与边界测试通过“压测”Agent的能力边界可以揭示其技能的存在与局限。操作思路领域外查询询问一个非常冷门或专业领域的问题。如果Agent能回答暗示它可能接入了该领域的专业知识库知识型技能。复杂组合任务提出需要多个步骤和条件判断的任务。观察Agent是否会主动调用多个工具或展示复杂的规划过程从而验证其规划技能。模糊或错误输入提供信息不全或包含错误的指令。Agent的纠错、澄清追问行为本身就是一种“对话状态管理”或“需求澄清”技能。压力测试请求处理极大或极特殊的数据。例如“总结这篇100页的PDF”。其处理方式是拒绝、分块处理还是调用专用大文件处理接口能揭示其技能的性能边界和实现方式。4. 实战演练构建一个简易的技能推断分析管道理论说再多不如动手搭一个。下面我将展示如何用Python构建一个简易的、集成了上述部分方法的技能推断分析管道。我们假设轨迹数据是以JSON Lines格式存储的。4.1 环境准备与数据加载首先我们需要一个基础的分析环境。# 创建虚拟环境并安装依赖示例 python -m venv skill_venv source skill_venv/bin/activate # Windows: skill_venv\Scripts\activate pip install pandas numpy scikit-learn openai tqdm plotly# 核心分析脚本 skill_infer.py 的初始部分 import json import pandas as pd from typing import List, Dict, Any from collections import Counter import re class TrajectoryLoader: 加载和预处理轨迹数据 def __init__(self, filepath: str): self.filepath filepath self.trajectories [] def load(self): with open(self.filepath, r, encodingutf-8) as f: for line in f: try: self.trajectories.append(json.loads(line.strip())) except json.JSONDecodeError as e: print(fWarning: Could not parse line: {e}) print(fLoaded {len(self.trajectories)} trajectories.) return self def get_tool_calls(self) - List[Dict]: 提取所有工具调用记录 all_calls [] for traj in self.trajectories: # 假设轨迹中有一个‘steps’列表每个step包含‘action’和‘action_input’ for step in traj.get(steps, []): if action in step and step[action] ! final_answer: call { traj_id: traj.get(id), step_idx: step.get(step_idx), tool_name: step[action], parameters: step.get(action_input, {}) } all_calls.append(call) return all_calls4.2 实施工具签名分析接下来我们实现方法一进行工具签名的直接统计和模式分析。class ToolSignatureAnalyzer: 分析工具调用签名 def __init__(self, tool_calls: List[Dict]): self.tool_calls_df pd.DataFrame(tool_calls) def summarize_tool_usage(self): 生成工具使用频率摘要 if self.tool_calls_df.empty: return pd.DataFrame() summary self.tool_calls_df[tool_name].value_counts().reset_index() summary.columns [tool_name, call_count] summary[percentage] (summary[call_count] / summary[call_count].sum() * 100).round(2) return summary def analyze_parameter_patterns(self, tool_name: str): 分析特定工具的调用参数模式 calls self.tool_calls_df[self.tool_calls_df[tool_name] tool_name] if calls.empty: return {} param_patterns {} # 假设parameters是字典分析每个键的出现频率和值类型样例 all_params calls[parameters].tolist() for param_dict in all_params: for key, value in param_dict.items(): if key not in param_patterns: param_patterns[key] { count: 0, value_samples: set(), value_types: set() } param_patterns[key][count] 1 # 记录一个样本值截断长字符串 sample str(value)[:50] (... if len(str(value)) 50 else ) param_patterns[key][value_samples].add(sample) param_patterns[key][value_types].add(type(value).__name__) # 转换为更易读的格式 for key in param_patterns: param_patterns[key][frequency] param_patterns[key][count] / len(all_params) param_patterns[key][value_samples] list(param_patterns[key][value_samples])[:5] # 取前5个样本 param_patterns[key][value_types] list(param_patterns[key][value_types]) return param_patterns # 使用示例 loader TrajectoryLoader(agent_traces.jsonl).load() tool_calls loader.get_tool_calls() analyzer ToolSignatureAnalyzer(tool_calls) print( 工具使用频率统计 ) print(analyzer.summarize_tool_usage().to_string()) target_tool search_knowledge_base # 假设我们关心这个工具 print(f\n 工具 {target_tool} 的参数模式分析 ) patterns analyzer.analyze_parameter_patterns(target_tool) for param, info in patterns.items(): print(f 参数: {param}) print(f 出现频率: {info[frequency]:.2%}) print(f 值类型: {info[value_types]}) print(f 值样例: {info[value_samples]}) print()4.3 实施输入输出语义聚类对于没有显式工具调用的轨迹我们使用方法二。这里我们需要一个嵌入模型为了简化我们使用sentence-transformers库它提供了易用的接口。pip install sentence-transformersfrom sentence_transformers import SentenceTransformer from sklearn.cluster import KMeans import numpy as np class IOSemanticCluster: 基于输入输出语义聚类的技能推断 def __init__(self, model_nameall-MiniLM-L6-v2): # 一个轻量且效果不错的模型 self.model SentenceTransformer(model_name) def prepare_io_pairs(self, trajectories: List[Dict]) - pd.DataFrame: 从轨迹中准备输入输出对 pairs [] for traj in trajectories: # 假设轨迹结构包含‘query’和‘final_answer’ query traj.get(query, ) answer traj.get(final_answer, ) if query and answer: pairs.append({input: query, output: answer, traj_id: traj.get(id)}) return pd.DataFrame(pairs) def cluster_and_analyze(self, df: pd.DataFrame, n_clusters5): 对输出进行聚类并分析每个簇的输入特征 if df.empty: return None # 生成输出文本的嵌入向量 output_texts df[output].astype(str).tolist() print(f正在为 {len(output_texts)} 个输出生成嵌入向量...) output_embeddings self.model.encode(output_texts, show_progress_barTrue) # 执行K-means聚类 print(正在进行聚类分析...) kmeans KMeans(n_clustersn_clusters, random_state42, n_initauto) cluster_labels kmeans.fit_predict(output_embeddings) df[cluster] cluster_labels # 分析每个簇 cluster_skills {} for cluster_id in range(n_clusters): cluster_df df[df[cluster] cluster_id] cluster_inputs cluster_df[input].tolist() cluster_outputs cluster_df[output].tolist() # 简单分析找出输入中的高频词/主题 from collections import Counter import re all_input_words [] for text in cluster_inputs: # 简单的分词和清洗 words re.findall(r\b[a-zA-Z]{3,}\b, text.lower()) # 匹配3个字母以上的单词 all_input_words.extend(words) common_input_terms Counter(all_input_words).most_common(5) # 检查输出格式/类型非常简单的启发式方法 output_sample cluster_outputs[0][:200] if cluster_outputs else output_type text if output_sample.strip().startswith({) or output_sample.strip().startswith([): output_type json elif re.search(r^\s*\|.*\|, output_sample, re.MULTILINE): # 简单的表格检测 output_type table elif in output_sample: output_type code_block cluster_skills[cluster_id] { size: len(cluster_df), common_input_terms: common_input_terms, output_type: output_type, sample_input: cluster_inputs[0] if cluster_inputs else , sample_output: output_sample } # 尝试推断技能名称 inferred_skill self._infer_skill_name(common_input_terms, output_type) cluster_skills[cluster_id][inferred_skill] inferred_skill return df, cluster_skills def _infer_skill_name(self, terms, output_type): 根据输入高频词和输出类型推断技能名称简单的规则匹配 term_words [t[0] for t in terms] skill_name 通用处理 # 基于关键词的规则 keyword_mapping { sql: SQL生成/执行, query: 数据查询, calculate: 数学计算, summar: 文本摘要, translate: 语言翻译, code: 代码生成/解释, write: 内容创作, email: 邮件处理, weather: 天气查询, search: 信息检索, } for key, skill in keyword_mapping.items(): if any(key in word for word in term_words): skill_name skill break # 结合输出类型 if output_type json: skill_name (JSON格式化) elif output_type table: skill_name (表格输出) elif output_type code_block: skill_name 代码相关技能 return skill_name # 使用示例 cluster_analyzer IOSemanticCluster() io_df cluster_analyzer.prepare_io_pairs(loader.trajectories) if not io_df.empty: clustered_df, skill_summary cluster_analyzer.cluster_and_analyze(io_df, n_clusters5) print(\n 基于IO聚类的技能推断结果 ) for cid, info in skill_summary.items(): print(f\n簇 {cid} (共 {info[size]} 个样本):) print(f 推断技能: {info[inferred_skill]}) print(f 输入高频词: {info[common_input_terms]}) print(f 输出类型: {info[output_type]}) print(f 样例输入: {info[sample_input][:100]}...) print(f 样例输出: {info[sample_output][:100]}...)4.4 结果整合与技能图谱可视化最后我们将多种方法的结果整合起来形成一个更全面的技能视图并尝试进行可视化。import plotly.graph_objects as go from plotly.subplots import make_subplots class SkillInferenceReport: 生成技能推断综合报告 def __init__(self, tool_analyzer, cluster_resultsNone): self.tool_analyzer tool_analyzer self.cluster_results cluster_results # (df, skill_summary) 元组 def generate_report(self): report {} # 1. 工具型技能 tool_summary self.tool_analyzer.summarize_tool_usage() tool_skills [] for _, row in tool_summary.iterrows(): tool_skills.append({ name: row[tool_name], type: explicit_tool, confidence: high, evidence: f直接调用出现{row[call_count]}次 ({row[percentage]}%), description: self._infer_tool_description(row[tool_name]) }) report[explicit_tool_skills] tool_skills # 2. 聚类推断的技能 inferred_skills [] if self.cluster_results: _, skill_summary self.cluster_results for cid, info in skill_summary.items(): # 避免与显式工具技能重复简单的名称过滤 if not any(info[inferred_skill] in ts[name] for ts in tool_skills): inferred_skills.append({ name: info[inferred_skill], type: inferred_from_io, confidence: medium, # 基于聚类的推断置信度中等 evidence: f基于{info[size]}个相似输入输出对聚类输入特征: {info[common_input_terms]}, description: f处理与{info[common_input_terms][0][0] if info[common_input_terms] else }等相关输入生成{info[output_type]}格式输出。 }) report[inferred_skills] inferred_skills # 合并所有技能 all_skills tool_skills inferred_skills report[all_skills] all_skills return report def _infer_tool_description(self, tool_name): 根据工具名推断其功能描述简单的规则映射 desc_map { search: 执行网络或内部知识检索, calculate: 执行数学或逻辑计算, query: 查询数据库或API, send: 发送消息或通知, get: 获取数据或状态信息, create: 创建新资源或文档, update: 更新现有数据, delete: 删除数据或资源, format: 格式化数据或文本, analyze: 执行数据分析, } for key, desc in desc_map.items(): if key in tool_name.lower(): return desc return 执行特定操作 def visualize_skills(self, report): 生成简单的技能分布可视化 all_skills report[all_skills] if not all_skills: print(没有技能数据可供可视化。) return skill_names [s[name] for s in all_skills] skill_types [s[type] for s in all_skills] confidences [s[confidence] for s in all_skills] # 创建一个简单的条形图按技能类型着色 fig go.Figure(data[ go.Bar( xskill_names, y[1]*len(skill_names), # 用常数高度表示存在 marker_color[blue if t explicit_tool else green for t in skill_types], textconfidences, textpositionauto, hovertemplateb%{x}/bbr类型: %{marker.color}br置信度: %{text}extra/extra ) ]) fig.update_layout( title推断出的Agent技能概览, xaxis_title技能名称, yaxis_title, showlegendFalse, yaxisdict(showticklabelsFalse) # 隐藏Y轴刻度 ) # 在本地生成HTML文件查看 fig.write_html(skill_overview.html) print(技能概览图已保存至 skill_overview.html) # 生成最终报告 report_generator SkillInferenceReport(analyzer, (clustered_df, skill_summary) if clustered_df in locals() else None) final_report report_generator.generate_report() report_generator.visualize_skills(final_report) print(\n 最终技能推断报告 ) print(f共发现 {len(final_report[all_skills])} 项技能。) print(\n【显式工具技能】) for skill in final_report[explicit_tool_skills]: print(f - {skill[name]} ({skill[confidence]}): {skill[description]}) print(\n【推断技能】) for skill in final_report[inferred_skills]: print(f - {skill[name]} ({skill[confidence]}): {skill[description]})5. 高级话题应对混淆与防御策略在实际对抗性环境或分析高度保护的Agent时我们可能会遇到对方有意采取的混淆和防御措施。同时从防御者视角了解这些推断方法也能帮助我们更好地保护自己的Agent技能不被轻易泄露。5.1 常见的技能隐藏与混淆技术工具调用泛化这是最有效的方法之一。不暴露具体的search_financial_data、query_customer_db而是通过一个统一的网关工具如execute_internal_api(operation: str, payload: dict)。所有具体操作都通过operation参数来指定。这大大增加了从参数反推具体技能的难度。输出标准化与模糊化无论内部处理多么复杂都将输出格式统一为一种自然语言描述或简单的键值对避免在输出格式上泄露内部处理模块的信息。例如不直接输出代码块或复杂表格而是用文字描述结果。引入随机噪声在思维链或非关键输出中加入无关的“思考”步骤或冗余信息干扰基于模式识别的聚类分析。技能动态组合不将固定流程预定义为技能而是根据每次任务动态生成处理链。这使得每次的轨迹模式都略有不同难以归纳出稳定的“技能签名”。限制轨迹输出最简单粗暴但有效的方法——不向最终用户或日志输出详细的思维链和中间步骤只返回最终答案。5.2 针对混淆的进阶推断策略面对混淆我们的分析方法也需要升级参数语义分析对于泛化的工具深入分析其payload参数的结构和内容。即使operation值是加密或哈希过的payload中传递的数据本身可能包含语义信息。例如频繁出现{sql_query: SELECT * FROM sales...}这样的负载强烈暗示背后是数据库查询技能。时序与上下文关联分析将单次工具调用放到完整的会话上下文中分析。一个execute_internal_api调用前如果用户的问题是“Q3的营收是多少”调用后返回了数字那么即使operation字段是op_abc123我们也能高度关联此操作与“财务数据查询”相关。侧信道分析观察非功能性特征。例如特定类型查询的响应延迟访问本地知识库 vs 调用外部慢速API、输出长度分布、对错误输入的反应模式等都可能成为推断技能类型的间接证据。差分分析设计两组高度相似但有一处关键不同的输入观察Agent轨迹的差异点。差异点往往对应处理该关键不同的内部技能或逻辑分支。5.3 防御视角如何评估与降低技能泄露风险如果你在开发需要保护技能的Agent可以遵循以下步骤进行自我评估和加固威胁建模列出你认为需要保护的核心技能或知识。明确攻击者可能通过哪些观测点日志、API响应、错误信息来推断它们。自我探测使用本文描述的方法对你自己的Agent在测试环境产生的轨迹进行分析。看看能推断出多少你希望隐藏的信息。这是最直接的验证。实施最小信息原则日志脱敏在生产日志中避免记录完整的请求和响应体尤其是参数和内部数据。统一错误信息避免因错误类型不同而返回不同的、信息丰富的错误消息。限制思维链输出除非必要不要向最终用户展示详细的推理步骤。进行模糊化处理对工具名、内部操作码进行定期轮换或使用无意义的标识符。考虑对非关键性的中间输出进行适度的格式统一或信息简化。监控异常探测行为建立监控机制检测是否存在高频、系统性的探测性查询这可能是外部人员在尝试进行技能推断。实操心得安全性和可用性总是一个权衡。过度的模糊化可能会影响Agent的可调试性和用户体验。关键在于识别哪些是真正的核心资产如访问特定数据库的权限、独有的算法逻辑并对这些点进行重点防护而对于一些通用的、非核心的能力则可以适当放宽。6. 工具、资源与未来展望工欲善其事必先利其器。除了自建分析管道了解社区现有的工具和资源能让我们事半功倍。6.1 现有工具与框架虽然还没有一个名为“SigLeak”的成熟开源工具但许多AI Agent开发框架和评估平台已经包含了部分轨迹分析能力可以作为我们工作的起点或集成对象LangSmith / LangChain Traces: 如果你分析的Agent基于LangChain构建那么其官方平台LangSmith提供了强大的轨迹追踪、可视化甚至简单的统计分析功能。你可以直接在其UI上查看工具调用序列和统计。AutoGen Studio / FLAML: 微软的AutoGen框架在其Studio界面中也能展示多Agent对话的详细流程包括函数调用。自定义日志与APM工具利用像OpenTelemetry这样的可观测性框架来结构化地记录Agent轨迹然后使用Grafana、Jaeger等进行查询和初步可视化再接入我们的分析脚本进行深度挖掘。MLflow / Weights Biases: 这些ML实验跟踪工具也可以用来记录和比较不同Agent或不同配置下的执行轨迹。6.2 技能推断的应用场景再梳理这项技术不止于“窥探”它有广泛的正向应用价值自动化Agent能力评估与基准测试构建一个测试套件自动执行任务并分析轨迹从而量化评估Agent的技能覆盖范围、成功率和效率生成能力雷达图。大规模Agent供应链安全审计在集成第三方AI服务或开源Agent模型前通过黑盒测试分析其潜在行为检查是否有未声明的、可能存在风险的技能如未经授权的网络访问、数据导出等。辅助Agent设计与调试对于自家开发的Agent通过轨迹分析可以直观地看到技能是否被正确调用、规划逻辑是否符合预期从而优化提示词或工作流设计。知识发现与研究分析顶尖Agent如GPT-4、Claude等闭源模型驱动的Agent在公开交互中展现出的能力边界和新出现的“涌现技能”为学术研究提供实证数据。6.3 挑战与未来方向这个领域方兴未艾还有许多开放性问题标准化与基准缺乏一个标准的“技能描述语言”和用于评估技能推断方法的基准数据集。未来可能会出现类似“SkillNet”的基准。从轨迹到技能实现的反编译目前的推断主要停留在“有什么技能”和“大致做什么”。更进一步的挑战是推断出技能的“具体实现方式”例如它使用的是哪个具体的API端点、内部提示词模板可能是什么样子。这需要更精细的符号推理和可能的形式化方法。对抗与防御的持续演进随着推断技术的发展防御技术也会升级可能会演变成一场持续的博弈。伦理与合规框架在什么情况下对Agent进行这种黑盒分析是合乎伦理且合法的这需要行业共同制定准则。显然对公共、开源的Agent进行分析与对商业闭源服务进行逆向工程性质完全不同。从我个人的实践来看从执行轨迹推断Agent技能是一个将软件工程里的动态分析、安全领域的逆向工程和AI的行为理解结合起来的交叉领域。它既有扎实的技术趣味又有强烈的实用价值。无论是为了构建更强大的Agent还是为了更安全地使用Agent深入理解这项技术都大有裨益。开始动手分析你手头的第一个Agent轨迹吧或许第一个令人惊讶的发现就在不远处。 从执行轨迹推断AI Agent私有技能：方法、实践与安全考量
1. 项目概述从执行轨迹中窥探Agent的“独门秘籍”最近在折腾AI Agent的开发与安全评估一个绕不开的难题浮出水面我们如何知道一个“黑盒”Agent到底会什么它内部封装了哪些我们不知道的、可能极具价值的“技能”Skills这不仅仅是好奇心作祟。在考虑集成一个第三方Agent、进行安全审计或是评估其能力边界时理解其私有技能集至关重要。然而厂商或开发者通常不会公开这些核心能力的详细清单这就引出了我们这次要深入探讨的主题——通过分析Agent的执行轨迹Execution Trajectories来推断其内部的私有技能Proprietary Skills。简单来说这就像是通过观察一位武术高手的实战录像执行轨迹来反推他可能练过哪些门派的招式技能即使他从未公开过自己的师承。在AI Agent领域一个“技能”可以是一个调用特定API的函数、一个处理复杂逻辑的模块或是一个访问专有知识库的能力。这些技能是Agent的核心竞争力往往被精心保护。我们的目标就是在不接触其内部代码和权重的前提下仅通过其与外界的交互记录将这些隐藏的技能“挖”出来。这项工作直接关联到几个关键领域首先是Agent安全技能泄露Skill Leakage可能暴露其依赖的敏感服务或数据源其次是能力评估为Agent的能力测绘Capability Mapping提供实证方法再者是逆向工程与竞品分析理解先进Agent如传闻中的Hermes Agent、Claude等的能力构成。围绕这个主题社区已经出现了一些初步的探索和工具例如SigLeak这类概念指的就是从交互签名中泄露技能信息。接下来我将结合实践中的思路、方法和踩过的坑为你系统性地拆解如何从执行轨迹中推断Agent技能。2. 核心概念与问题定义什么是技能与执行轨迹在深入技术细节之前我们必须先统一“语言”明确几个核心概念。这能帮助我们在后续的分析中保持清晰的思路。2.1 Agent技能的多元定义在当前的语境下“技能”并非一个单一的概念它可以根据抽象层次和实现方式分为几类工具调用型技能这是最常见、最易观测的一类。Agent通过预定义的格式如OpenAI的Function Calling或ReAct范式中的Tool: ...调用外部工具。例如search_web(query),execute_sql(database, query),send_email(to, subject, body)。从轨迹中识别出工具名称和参数模式就能直接映射到一个技能。内部函数/模块型技能这类技能不涉及外部API调用而是在Agent内部完成的复杂处理。例如一个“文本总结”技能可能由内部的提示词工程Prompt Engineering和多个LLM调用链构成一个“代码调试”技能可能包含静态分析、动态测试等内部逻辑。这类技能的痕迹更隐蔽通常体现在输入输出的语义转换和中间步骤的思维链Chain-of-Thought中。知识检索型技能Agent能够访问特定的、非公开的知识库或数据集。例如回答关于某公司内部政策的问题或生成特定技术栈的冷门代码。这并非通过一个明显的“工具”调用实现而是通过检索增强生成RAG流程。其轨迹特征可能包括对特定知识源索引的引用或输出中包含了非公开数据。规划与编排型技能这是一种元技能指Agent将多个基础技能组合起来解决复杂任务的能力。例如完成“分析上周销售数据并生成报告”的任务需要依次调用数据查询、数据分析、图表生成、文档编写等多个技能。从轨迹中识别出这种多步骤、有状态的协作模式本身就是在推断一种高阶的规划技能。实操心得在实际分析中不要预设技能的类型。先从最明显的工具调用入手再逐步深入到更隐晦的内部函数和知识访问模式。一个复杂的Agent通常混合了多种技能类型。2.2 执行轨迹的构成与采集执行轨迹是Agent在完成任务过程中与环境用户、工具、知识库交互的完整记录。一条丰富的轨迹应包含以下要素用户输入/查询任务的初始描述。Agent的思考过程如果Agent输出思维链这是黄金信息。它揭示了任务分解的逻辑和技能调用的意图。动作序列Agent发出的具体动作主要是工具调用包括工具名和参数。观察结果工具执行后返回的结果。最终输出Agent返回给用户的最终答案或成果。采集轨迹通常有两种方式主动探测设计一系列涵盖不同领域的测试用例Test Suite主动向Agent提问或下达指令并记录其所有响应。这需要系统的测试设计。被动监听在Agent的生产环境或测试环境的日志中收集真实的交互记录。这种方式数据更真实但可能噪音更大且涉及隐私和安全合规问题。注意在采集和使用任何执行轨迹数据时必须严格遵守相关法律法规和数据隐私政策。对于第三方Agent未经授权的深度探测可能违反其服务条款。本文讨论的方法主要用于安全研究、自家产品的审计或获得明确授权的评估场景。2.3 技能推断的核心挑战这项工作绝非简单的模式匹配我们面临着几个核心挑战黑盒性我们无法看到Agent内部的代码、提示词或权重所有推断必须基于外部可观测的交互。技能组合与抽象一个复杂输出可能是多个基础技能组合的结果。如何区分一个“生成财报摘要”的技能和一个“总结”技能加上一个“金融知识”技能的组合非确定性LLM驱动的Agent具有一定随机性同一任务多次执行可能产生不同的轨迹这要求我们的推断方法具有鲁棒性。信息隐藏聪明的Agent设计者可能会有意模糊或泛化工具调用例如将所有数据查询都通过一个通用的query_internal_api(endpoint, params)工具来完成以隐藏内部的数据结构。轨迹噪声轨迹中可能包含无关的尝试、错误或回退步骤需要有效过滤。3. 技能推断的方法论与实践框架基于上述挑战我总结了一套从粗到细、从显性到隐性的技能推断实践框架。这套方法融合了规则匹配、统计分析以及语义分析在实际项目中证明是有效的。3.1 方法一基于工具调用签名的直接映射这是最直接、最可靠的第一层分析。目标是识别出轨迹中所有显式的工具调用。操作步骤解析轨迹编写脚本从轨迹日志中正则提取或根据结构化标记如JSON解析出所有的工具调用动作。关键字段是action_name或tool_name和action_input参数。签名规范化将工具名和参数结构进行规范化。例如search_web(“AI news”)和web_search(query: “AI news”)可能指向同一技能。需要建立一个同义词或标准化名称的映射表。参数模式分析分析同一工具调用下的参数。例如如果execute_sql的参数中频繁出现table_name: “sales_2024”这可能暗示Agent拥有“访问2024销售数据”的特定技能。参数值的类型字符串、数字、复杂对象和模式也能提供线索。构建技能清单将规范化后的工具调用汇总形成初步的“工具型技能”清单。每个技能条目应包括技能名称、功能描述从调用上下文中推断、典型参数模式、调用频率。示例分析假设从轨迹中解析出以下调用1. action: get_weather, input: {“city”: “Beijing”} 2. action: calculate, input: {“expression”: “(1527)*0.8”} 3. action: search_knowledge_base, input: {“topic”: “company_pto_policy”, “version”: “2024”} 4. action: send_notification, input: {“channel”: “email”, “recipient”: “teamexample.com”, “content”: “Report ready”}我们可以推断出该Agent至少拥有天气查询、数学计算、内部知识库检索特定于公司休假政策、邮件通知这四个技能。3.2 方法二基于输入输出对的语义聚类与模式归纳当技能没有显式工具调用或是内部函数时我们需要通过分析任务的“输入”和Agent的“最终输出”之间的关系来推断。操作步骤构建任务-输出对从轨迹中提取每个独立任务的用户输入和Agent的最终输出形成一个配对数据集。语义编码使用一个嵌入模型如text-embedding-3-small将所有的“输入”和“输出”文本分别转换为高维向量。聚类分析对“输出”向量进行聚类如使用K-means或DBSCAN。同一簇内的输出在语义或格式上应具有相似性。例如一个簇可能全是“JSON格式的数据摘要”另一个簇全是“步骤清晰的教程”。关联输入分析驱动每个输出簇的输入特征。如果某个输出簇如“代码片段”总是由包含“write a function to...”或“implement...”的输入所触发那么我们可以高度置信地推断Agent拥有“代码生成”技能。模式命名为每个有清晰模式的输入-输出簇命名这就是推断出的技能。例如“将自然语言查询转换为SQL语句”、“将长文档总结为要点列表”。实操心得聚类数量的选择K值是个难点。我通常先用肘部法则或轮廓系数确定一个大致范围然后人工审查几个K值下的聚类结果选择那个能产生最“合乎逻辑”的技能分类的值。有时一个技能可能对应多个语义相近的簇。3.3 方法三基于思维链的流程挖掘与技能图谱构建如果Agent输出了详细的思维链CoT这为我们打开了一扇窥视其内部决策过程的窗户。我们可以进行更精细的“流程挖掘”。操作步骤步骤分割与标注将思维链文本按“Thought:”, “Action:”, “Observation:”等标记分割成独立的步骤。步骤类型分类为每个步骤打上标签如“问题分解”、“信息检索”、“逻辑推理”、“计算”、“格式化输出”等。这可以基于关键词规则或训练一个简单的文本分类器。流程模型发现使用流程挖掘算法如Alpha算法或其变种分析步骤类型序列发现常见的任务处理模式。例如你可能会发现一个固定模式“问题分解” - “信息检索多次” - “逻辑推理/整合” - “格式化输出”。映射到技能这些高频出现的处理模式本身就是一种“流程型技能”或“策略”。同时模式中固定出现的某些步骤类型可能对应着具体的底层技能。例如如果“信息检索”步骤后总是紧跟着一个“数据可视化”步骤那么“检索后可视化”就可能是一个复合技能。示例面对任务“对比React和Vue在大型项目中的优劣”Agent的思维链可能显示Thought: 用户需要一份对比报告。我需要先分别查找React和Vue在大型项目中的特点然后提取关键维度进行对比最后组织成表格。 Action: search_web(query: “React large scale project best practices 2024”) Observation: [关于React的搜索结果...] Action: search_web(query: “Vue.js enterprise scalability case studies”) Observation: [关于Vue的搜索结果...] Thought: 我获得了足够信息。现在从性能、生态、学习曲线、团队协作四个维度进行对比。 Action: format_as_table(data: [对比数据...], columns: [“维度”, “React”, “Vue”])从这个轨迹我们不仅可以推断出网络搜索和表格格式化这两个基础技能更能推断出一个高阶的技术栈对比分析技能其内部流程是“双路径信息检索 - 多维度分析 - 结构化呈现”。3.4 方法四异常与边界测试通过“压测”Agent的能力边界可以揭示其技能的存在与局限。操作思路领域外查询询问一个非常冷门或专业领域的问题。如果Agent能回答暗示它可能接入了该领域的专业知识库知识型技能。复杂组合任务提出需要多个步骤和条件判断的任务。观察Agent是否会主动调用多个工具或展示复杂的规划过程从而验证其规划技能。模糊或错误输入提供信息不全或包含错误的指令。Agent的纠错、澄清追问行为本身就是一种“对话状态管理”或“需求澄清”技能。压力测试请求处理极大或极特殊的数据。例如“总结这篇100页的PDF”。其处理方式是拒绝、分块处理还是调用专用大文件处理接口能揭示其技能的性能边界和实现方式。4. 实战演练构建一个简易的技能推断分析管道理论说再多不如动手搭一个。下面我将展示如何用Python构建一个简易的、集成了上述部分方法的技能推断分析管道。我们假设轨迹数据是以JSON Lines格式存储的。4.1 环境准备与数据加载首先我们需要一个基础的分析环境。# 创建虚拟环境并安装依赖示例 python -m venv skill_venv source skill_venv/bin/activate # Windows: skill_venv\Scripts\activate pip install pandas numpy scikit-learn openai tqdm plotly# 核心分析脚本 skill_infer.py 的初始部分 import json import pandas as pd from typing import List, Dict, Any from collections import Counter import re class TrajectoryLoader: 加载和预处理轨迹数据 def __init__(self, filepath: str): self.filepath filepath self.trajectories [] def load(self): with open(self.filepath, r, encodingutf-8) as f: for line in f: try: self.trajectories.append(json.loads(line.strip())) except json.JSONDecodeError as e: print(fWarning: Could not parse line: {e}) print(fLoaded {len(self.trajectories)} trajectories.) return self def get_tool_calls(self) - List[Dict]: 提取所有工具调用记录 all_calls [] for traj in self.trajectories: # 假设轨迹中有一个‘steps’列表每个step包含‘action’和‘action_input’ for step in traj.get(steps, []): if action in step and step[action] ! final_answer: call { traj_id: traj.get(id), step_idx: step.get(step_idx), tool_name: step[action], parameters: step.get(action_input, {}) } all_calls.append(call) return all_calls4.2 实施工具签名分析接下来我们实现方法一进行工具签名的直接统计和模式分析。class ToolSignatureAnalyzer: 分析工具调用签名 def __init__(self, tool_calls: List[Dict]): self.tool_calls_df pd.DataFrame(tool_calls) def summarize_tool_usage(self): 生成工具使用频率摘要 if self.tool_calls_df.empty: return pd.DataFrame() summary self.tool_calls_df[tool_name].value_counts().reset_index() summary.columns [tool_name, call_count] summary[percentage] (summary[call_count] / summary[call_count].sum() * 100).round(2) return summary def analyze_parameter_patterns(self, tool_name: str): 分析特定工具的调用参数模式 calls self.tool_calls_df[self.tool_calls_df[tool_name] tool_name] if calls.empty: return {} param_patterns {} # 假设parameters是字典分析每个键的出现频率和值类型样例 all_params calls[parameters].tolist() for param_dict in all_params: for key, value in param_dict.items(): if key not in param_patterns: param_patterns[key] { count: 0, value_samples: set(), value_types: set() } param_patterns[key][count] 1 # 记录一个样本值截断长字符串 sample str(value)[:50] (... if len(str(value)) 50 else ) param_patterns[key][value_samples].add(sample) param_patterns[key][value_types].add(type(value).__name__) # 转换为更易读的格式 for key in param_patterns: param_patterns[key][frequency] param_patterns[key][count] / len(all_params) param_patterns[key][value_samples] list(param_patterns[key][value_samples])[:5] # 取前5个样本 param_patterns[key][value_types] list(param_patterns[key][value_types]) return param_patterns # 使用示例 loader TrajectoryLoader(agent_traces.jsonl).load() tool_calls loader.get_tool_calls() analyzer ToolSignatureAnalyzer(tool_calls) print( 工具使用频率统计 ) print(analyzer.summarize_tool_usage().to_string()) target_tool search_knowledge_base # 假设我们关心这个工具 print(f\n 工具 {target_tool} 的参数模式分析 ) patterns analyzer.analyze_parameter_patterns(target_tool) for param, info in patterns.items(): print(f 参数: {param}) print(f 出现频率: {info[frequency]:.2%}) print(f 值类型: {info[value_types]}) print(f 值样例: {info[value_samples]}) print()4.3 实施输入输出语义聚类对于没有显式工具调用的轨迹我们使用方法二。这里我们需要一个嵌入模型为了简化我们使用sentence-transformers库它提供了易用的接口。pip install sentence-transformersfrom sentence_transformers import SentenceTransformer from sklearn.cluster import KMeans import numpy as np class IOSemanticCluster: 基于输入输出语义聚类的技能推断 def __init__(self, model_nameall-MiniLM-L6-v2): # 一个轻量且效果不错的模型 self.model SentenceTransformer(model_name) def prepare_io_pairs(self, trajectories: List[Dict]) - pd.DataFrame: 从轨迹中准备输入输出对 pairs [] for traj in trajectories: # 假设轨迹结构包含‘query’和‘final_answer’ query traj.get(query, ) answer traj.get(final_answer, ) if query and answer: pairs.append({input: query, output: answer, traj_id: traj.get(id)}) return pd.DataFrame(pairs) def cluster_and_analyze(self, df: pd.DataFrame, n_clusters5): 对输出进行聚类并分析每个簇的输入特征 if df.empty: return None # 生成输出文本的嵌入向量 output_texts df[output].astype(str).tolist() print(f正在为 {len(output_texts)} 个输出生成嵌入向量...) output_embeddings self.model.encode(output_texts, show_progress_barTrue) # 执行K-means聚类 print(正在进行聚类分析...) kmeans KMeans(n_clustersn_clusters, random_state42, n_initauto) cluster_labels kmeans.fit_predict(output_embeddings) df[cluster] cluster_labels # 分析每个簇 cluster_skills {} for cluster_id in range(n_clusters): cluster_df df[df[cluster] cluster_id] cluster_inputs cluster_df[input].tolist() cluster_outputs cluster_df[output].tolist() # 简单分析找出输入中的高频词/主题 from collections import Counter import re all_input_words [] for text in cluster_inputs: # 简单的分词和清洗 words re.findall(r\b[a-zA-Z]{3,}\b, text.lower()) # 匹配3个字母以上的单词 all_input_words.extend(words) common_input_terms Counter(all_input_words).most_common(5) # 检查输出格式/类型非常简单的启发式方法 output_sample cluster_outputs[0][:200] if cluster_outputs else output_type text if output_sample.strip().startswith({) or output_sample.strip().startswith([): output_type json elif re.search(r^\s*\|.*\|, output_sample, re.MULTILINE): # 简单的表格检测 output_type table elif in output_sample: output_type code_block cluster_skills[cluster_id] { size: len(cluster_df), common_input_terms: common_input_terms, output_type: output_type, sample_input: cluster_inputs[0] if cluster_inputs else , sample_output: output_sample } # 尝试推断技能名称 inferred_skill self._infer_skill_name(common_input_terms, output_type) cluster_skills[cluster_id][inferred_skill] inferred_skill return df, cluster_skills def _infer_skill_name(self, terms, output_type): 根据输入高频词和输出类型推断技能名称简单的规则匹配 term_words [t[0] for t in terms] skill_name 通用处理 # 基于关键词的规则 keyword_mapping { sql: SQL生成/执行, query: 数据查询, calculate: 数学计算, summar: 文本摘要, translate: 语言翻译, code: 代码生成/解释, write: 内容创作, email: 邮件处理, weather: 天气查询, search: 信息检索, } for key, skill in keyword_mapping.items(): if any(key in word for word in term_words): skill_name skill break # 结合输出类型 if output_type json: skill_name (JSON格式化) elif output_type table: skill_name (表格输出) elif output_type code_block: skill_name 代码相关技能 return skill_name # 使用示例 cluster_analyzer IOSemanticCluster() io_df cluster_analyzer.prepare_io_pairs(loader.trajectories) if not io_df.empty: clustered_df, skill_summary cluster_analyzer.cluster_and_analyze(io_df, n_clusters5) print(\n 基于IO聚类的技能推断结果 ) for cid, info in skill_summary.items(): print(f\n簇 {cid} (共 {info[size]} 个样本):) print(f 推断技能: {info[inferred_skill]}) print(f 输入高频词: {info[common_input_terms]}) print(f 输出类型: {info[output_type]}) print(f 样例输入: {info[sample_input][:100]}...) print(f 样例输出: {info[sample_output][:100]}...)4.4 结果整合与技能图谱可视化最后我们将多种方法的结果整合起来形成一个更全面的技能视图并尝试进行可视化。import plotly.graph_objects as go from plotly.subplots import make_subplots class SkillInferenceReport: 生成技能推断综合报告 def __init__(self, tool_analyzer, cluster_resultsNone): self.tool_analyzer tool_analyzer self.cluster_results cluster_results # (df, skill_summary) 元组 def generate_report(self): report {} # 1. 工具型技能 tool_summary self.tool_analyzer.summarize_tool_usage() tool_skills [] for _, row in tool_summary.iterrows(): tool_skills.append({ name: row[tool_name], type: explicit_tool, confidence: high, evidence: f直接调用出现{row[call_count]}次 ({row[percentage]}%), description: self._infer_tool_description(row[tool_name]) }) report[explicit_tool_skills] tool_skills # 2. 聚类推断的技能 inferred_skills [] if self.cluster_results: _, skill_summary self.cluster_results for cid, info in skill_summary.items(): # 避免与显式工具技能重复简单的名称过滤 if not any(info[inferred_skill] in ts[name] for ts in tool_skills): inferred_skills.append({ name: info[inferred_skill], type: inferred_from_io, confidence: medium, # 基于聚类的推断置信度中等 evidence: f基于{info[size]}个相似输入输出对聚类输入特征: {info[common_input_terms]}, description: f处理与{info[common_input_terms][0][0] if info[common_input_terms] else }等相关输入生成{info[output_type]}格式输出。 }) report[inferred_skills] inferred_skills # 合并所有技能 all_skills tool_skills inferred_skills report[all_skills] all_skills return report def _infer_tool_description(self, tool_name): 根据工具名推断其功能描述简单的规则映射 desc_map { search: 执行网络或内部知识检索, calculate: 执行数学或逻辑计算, query: 查询数据库或API, send: 发送消息或通知, get: 获取数据或状态信息, create: 创建新资源或文档, update: 更新现有数据, delete: 删除数据或资源, format: 格式化数据或文本, analyze: 执行数据分析, } for key, desc in desc_map.items(): if key in tool_name.lower(): return desc return 执行特定操作 def visualize_skills(self, report): 生成简单的技能分布可视化 all_skills report[all_skills] if not all_skills: print(没有技能数据可供可视化。) return skill_names [s[name] for s in all_skills] skill_types [s[type] for s in all_skills] confidences [s[confidence] for s in all_skills] # 创建一个简单的条形图按技能类型着色 fig go.Figure(data[ go.Bar( xskill_names, y[1]*len(skill_names), # 用常数高度表示存在 marker_color[blue if t explicit_tool else green for t in skill_types], textconfidences, textpositionauto, hovertemplateb%{x}/bbr类型: %{marker.color}br置信度: %{text}extra/extra ) ]) fig.update_layout( title推断出的Agent技能概览, xaxis_title技能名称, yaxis_title, showlegendFalse, yaxisdict(showticklabelsFalse) # 隐藏Y轴刻度 ) # 在本地生成HTML文件查看 fig.write_html(skill_overview.html) print(技能概览图已保存至 skill_overview.html) # 生成最终报告 report_generator SkillInferenceReport(analyzer, (clustered_df, skill_summary) if clustered_df in locals() else None) final_report report_generator.generate_report() report_generator.visualize_skills(final_report) print(\n 最终技能推断报告 ) print(f共发现 {len(final_report[all_skills])} 项技能。) print(\n【显式工具技能】) for skill in final_report[explicit_tool_skills]: print(f - {skill[name]} ({skill[confidence]}): {skill[description]}) print(\n【推断技能】) for skill in final_report[inferred_skills]: print(f - {skill[name]} ({skill[confidence]}): {skill[description]})5. 高级话题应对混淆与防御策略在实际对抗性环境或分析高度保护的Agent时我们可能会遇到对方有意采取的混淆和防御措施。同时从防御者视角了解这些推断方法也能帮助我们更好地保护自己的Agent技能不被轻易泄露。5.1 常见的技能隐藏与混淆技术工具调用泛化这是最有效的方法之一。不暴露具体的search_financial_data、query_customer_db而是通过一个统一的网关工具如execute_internal_api(operation: str, payload: dict)。所有具体操作都通过operation参数来指定。这大大增加了从参数反推具体技能的难度。输出标准化与模糊化无论内部处理多么复杂都将输出格式统一为一种自然语言描述或简单的键值对避免在输出格式上泄露内部处理模块的信息。例如不直接输出代码块或复杂表格而是用文字描述结果。引入随机噪声在思维链或非关键输出中加入无关的“思考”步骤或冗余信息干扰基于模式识别的聚类分析。技能动态组合不将固定流程预定义为技能而是根据每次任务动态生成处理链。这使得每次的轨迹模式都略有不同难以归纳出稳定的“技能签名”。限制轨迹输出最简单粗暴但有效的方法——不向最终用户或日志输出详细的思维链和中间步骤只返回最终答案。5.2 针对混淆的进阶推断策略面对混淆我们的分析方法也需要升级参数语义分析对于泛化的工具深入分析其payload参数的结构和内容。即使operation值是加密或哈希过的payload中传递的数据本身可能包含语义信息。例如频繁出现{sql_query: SELECT * FROM sales...}这样的负载强烈暗示背后是数据库查询技能。时序与上下文关联分析将单次工具调用放到完整的会话上下文中分析。一个execute_internal_api调用前如果用户的问题是“Q3的营收是多少”调用后返回了数字那么即使operation字段是op_abc123我们也能高度关联此操作与“财务数据查询”相关。侧信道分析观察非功能性特征。例如特定类型查询的响应延迟访问本地知识库 vs 调用外部慢速API、输出长度分布、对错误输入的反应模式等都可能成为推断技能类型的间接证据。差分分析设计两组高度相似但有一处关键不同的输入观察Agent轨迹的差异点。差异点往往对应处理该关键不同的内部技能或逻辑分支。5.3 防御视角如何评估与降低技能泄露风险如果你在开发需要保护技能的Agent可以遵循以下步骤进行自我评估和加固威胁建模列出你认为需要保护的核心技能或知识。明确攻击者可能通过哪些观测点日志、API响应、错误信息来推断它们。自我探测使用本文描述的方法对你自己的Agent在测试环境产生的轨迹进行分析。看看能推断出多少你希望隐藏的信息。这是最直接的验证。实施最小信息原则日志脱敏在生产日志中避免记录完整的请求和响应体尤其是参数和内部数据。统一错误信息避免因错误类型不同而返回不同的、信息丰富的错误消息。限制思维链输出除非必要不要向最终用户展示详细的推理步骤。进行模糊化处理对工具名、内部操作码进行定期轮换或使用无意义的标识符。考虑对非关键性的中间输出进行适度的格式统一或信息简化。监控异常探测行为建立监控机制检测是否存在高频、系统性的探测性查询这可能是外部人员在尝试进行技能推断。实操心得安全性和可用性总是一个权衡。过度的模糊化可能会影响Agent的可调试性和用户体验。关键在于识别哪些是真正的核心资产如访问特定数据库的权限、独有的算法逻辑并对这些点进行重点防护而对于一些通用的、非核心的能力则可以适当放宽。6. 工具、资源与未来展望工欲善其事必先利其器。除了自建分析管道了解社区现有的工具和资源能让我们事半功倍。6.1 现有工具与框架虽然还没有一个名为“SigLeak”的成熟开源工具但许多AI Agent开发框架和评估平台已经包含了部分轨迹分析能力可以作为我们工作的起点或集成对象LangSmith / LangChain Traces: 如果你分析的Agent基于LangChain构建那么其官方平台LangSmith提供了强大的轨迹追踪、可视化甚至简单的统计分析功能。你可以直接在其UI上查看工具调用序列和统计。AutoGen Studio / FLAML: 微软的AutoGen框架在其Studio界面中也能展示多Agent对话的详细流程包括函数调用。自定义日志与APM工具利用像OpenTelemetry这样的可观测性框架来结构化地记录Agent轨迹然后使用Grafana、Jaeger等进行查询和初步可视化再接入我们的分析脚本进行深度挖掘。MLflow / Weights Biases: 这些ML实验跟踪工具也可以用来记录和比较不同Agent或不同配置下的执行轨迹。6.2 技能推断的应用场景再梳理这项技术不止于“窥探”它有广泛的正向应用价值自动化Agent能力评估与基准测试构建一个测试套件自动执行任务并分析轨迹从而量化评估Agent的技能覆盖范围、成功率和效率生成能力雷达图。大规模Agent供应链安全审计在集成第三方AI服务或开源Agent模型前通过黑盒测试分析其潜在行为检查是否有未声明的、可能存在风险的技能如未经授权的网络访问、数据导出等。辅助Agent设计与调试对于自家开发的Agent通过轨迹分析可以直观地看到技能是否被正确调用、规划逻辑是否符合预期从而优化提示词或工作流设计。知识发现与研究分析顶尖Agent如GPT-4、Claude等闭源模型驱动的Agent在公开交互中展现出的能力边界和新出现的“涌现技能”为学术研究提供实证数据。6.3 挑战与未来方向这个领域方兴未艾还有许多开放性问题标准化与基准缺乏一个标准的“技能描述语言”和用于评估技能推断方法的基准数据集。未来可能会出现类似“SkillNet”的基准。从轨迹到技能实现的反编译目前的推断主要停留在“有什么技能”和“大致做什么”。更进一步的挑战是推断出技能的“具体实现方式”例如它使用的是哪个具体的API端点、内部提示词模板可能是什么样子。这需要更精细的符号推理和可能的形式化方法。对抗与防御的持续演进随着推断技术的发展防御技术也会升级可能会演变成一场持续的博弈。伦理与合规框架在什么情况下对Agent进行这种黑盒分析是合乎伦理且合法的这需要行业共同制定准则。显然对公共、开源的Agent进行分析与对商业闭源服务进行逆向工程性质完全不同。从我个人的实践来看从执行轨迹推断Agent技能是一个将软件工程里的动态分析、安全领域的逆向工程和AI的行为理解结合起来的交叉领域。它既有扎实的技术趣味又有强烈的实用价值。无论是为了构建更强大的Agent还是为了更安全地使用Agent深入理解这项技术都大有裨益。开始动手分析你手头的第一个Agent轨迹吧或许第一个令人惊讶的发现就在不远处。