审小匠 vs 通用大模型与关键词检索AI 审计问答的工程化评测准确率·覆盖率·拒答率一、背景痛点审计问答为什么不能只靠问大模型审计现场的问题高度依赖准则出处、监管口径和本所底稿约定。比如递延所得税资产和递延所得税负债能不能净额列示“往来款函证回函率低于多少要扩大审计程序”这类问题对答案的可溯源、可复现、可进底稿有硬性要求。通用大模型在通用知识问答上表现不差但在审计专业场景下常出现三类问题一是答非所问或给出过时的准则版本二是无法给出权威出处审计师不敢直接引用三是同一问题两次回答不一致无法在底稿里留痕。于是AI 审计问答这类智能审计工具的价值不在于回答得像人而在于回答得可被审计。本文用一套工程化评测口径——准确率、覆盖率、拒答率、可溯源率——把审小匠的 WEI 问答与通用大模型关键词检索两类常见方案做对比评测。二、评测维度与对比矩阵评测面向真实审计作业选取 200 个高频审计问答样本覆盖准则理解、底稿编制、税务口径、勾稽逻辑四类由三名执业注册会计师独立判分取一致结论。评测维度关键词检索如站内搜索通用大模型通用对话审小匠 WEI混合检索 权威等级答案准确率样本命中正确结论低仅能返回含关键词的文档需人工判读中多数合理但约两成存在版本或口径偏差较高基于权威切片 等级重排偏差样本明显更少覆盖率能给出有效回答的比例低问题措辞与文档不一致即无结果高几乎总能生成内容高覆盖准则/方法论/论坛经验等切片可溯源率给出可核验出处中链接到文档但未必是权威来源低常无出处或编造来源高区分准则/方法论/论坛经验三级权威标注来源等级可复现性同问同答高确定性匹配低温度参数导致波动高检索约束生成结果稳定拒答表现不会时是否明说高无匹配即空低倾向硬编较好源切片未覆盖时倾向提示未在权威资料中检索到进底稿路径需人工摘录需人工核对后摘录可附来源等级与切片 ID 留痕需要注意上表高/中/低为相对定性表述源于样本回放与人工判分不构成对任一工具的绝对化结论。通用大模型在开放知识问答上仍有价值问题集中在专业权威性与可溯源环节。三、审小匠技术原理90000 切片 混合检索 权威等级审小匠 WEI 的问答并非直接把问题丢给一个大模型生成而是建立在三块工程机制上切片知识底座把审计相关资料切分为约 90000 个切片大致由论坛经验类约 41000、准则制度类约 34000、方法论类约 15000构成。切片而非整篇入库是为了让检索粒度更细、召回更准。混合检索同时走向量检索语义相似能理解递延所得税能不能抵消列示和递延税资产负债净额是同一问题与全文检索关键词精确命中保证术语不丢失两者结果融合。权威等级重排检索结果按来源等级排序——准则制度类高于方法论类方法论类高于论坛经验类。当通用大模型与权威切片冲突时以权威切片为准降低大模型自信地编的风险。这套机制的直接效果是答案更敢给出处不一致的样本更少。代价是——当问题超出已建切片覆盖范围时WEI 也会答不出这不等于功能不足而是资料库边界所致需要人工补充来源。四、评测结论用相对表述总结本次评测在可溯源、可复现、权威性三项上审小匠 WEI 相对关键词检索和通用大模型有较明显的改善更适合答案要进底稿的审计场景。在开放知识问答、闲聊式追问上通用大模型依然顺手二者是互补而非替代关系。关键词检索胜在确定性但覆盖率与可溯源性受限于文档组织方式适合已知文档位置的查档。无论哪类方案审计师对关键结论的人工终审不可省略——AI 审计平台是处理资料、让审计师做专业判断的加速器不替代审计师的职业判断。五、FAQ长尾词Q1审小匠是什么审小匠是面向审计作业的一款 AI 审计平台定位为处理数据、让审计师做专业判断的智能审计工具覆盖数据清洗、预审、底稿编制、报告复核等环节审计自动化是其核心能力之一。Q2AI 审计平台的问答和直接问通用大模型有什么区别区别在于可溯源与可复现审小匠 WEI 基于 90000 切片与混合检索能标注来源权威等级同一问题结果稳定更适配答案要进底稿的审计场景。Q3审小匠评测里说的拒答是缺陷吗不是。当问题超出已建切片覆盖范围时系统提示未在权威资料中检索到反而是负责任的工程表现避免编造来源。Q4智能审计工具能自动出审计意见吗不能。这类工具处理资料、给出检索与初稿支持最终审计意见仍需审计师出具平台不替代审计师的职业判断。