01动机基于知识图谱的检索增强生成技术旨在缓解大语言模型因知识不足或过时而产生的幻觉问题。然而现有的方法往往未能充分利用嵌入在知识图谱中的先验知识特别是结构信息和显式或隐式的约束条件。1结构信息的价值利用连接问题主题实体与答案的“关系路径”不仅能增强对 KG 内部结构模式的感知还能显著提高 LLM 推理的忠实度。2约束条件的价值问题中隐含的约束如类型约束、多实体约束等具有双重作用——既可以用于过滤候选关系路径也可以在推理过程中指导 LLM 进行回溯从而提高推理过程的可靠性和鲁棒性。基于此作者提出了一种名为DP (Deliberation on Priors)的可信推理框架旨在通过充分利用 KG 中的先验知识来生成可信且忠实的回答。02贡献本文的主要贡献总结如下1提出了 DP 框架引入了一种名为“Deliberation on Priors (DP)”的可信推理框架通过对嵌入在知识图谱中的先验知识进行审慎推理赋能大语言模型生成忠实且可靠的回答。2渐进式知识蒸馏策略提出了一种结合监督微调和 KTO优化的渐进式知识蒸馏策略。该策略利用先验结构信息使 LLM 能够生成忠实的关系路径。3推理-内省策略提出了一种推理-内省策略通过引入预定义的约束先验作为指导引导 LLM 进行精细的推理验证从而增强生成的可靠性。4实验验证与 SOTA 性能在三个公开基准数据集WebQSP, CWQ, MetaQA上进行了广泛实验。结果表明DP 取得了新的最先进SOTA性能特别是在 Complex WebQuestions 数据集上H1指标提升了 13%。同时验证了 DP 在集成不同 LLM 时的灵活性以及在低交互频率下的实用性。03方法DP 框架主要包含四个关键模块蒸馏、规划、实例化和内省过程分为离线和在线两个阶段。3.1 离线阶段蒸馏该模块旨在通过渐进式知识蒸馏策略指导 LLM 从 KG 中捕获结构模式。对于给定的问题和主题实体利用 Dijkstra 算法在 KG 的 k-hop 子图中找到通往答案实体的所有最短路径作为弱监督集合。随后进行监督微调利用上述收集的路径通过 SFT 训练 LLM使其能够根据输入问题生成符合 KG 结构的关系路径。目标是最大化条件对数似然。为了进一步提升路径生成的忠实度作者构建了偏好数据正样本和负样本。负样本通过路径截断、实体-路径交换、关系删除等扰动方式生成。由于正负样本比例严重失衡1:3采用KTO进行训练最大化生成的人类效用期望。3.2 在线阶段这个的阶段分为两个步骤规划和实例化。规划阶段利用训练好的路径生成器针对输入问题生成多个候选关系路径集合。此时的选择仅基于语义对齐不施加约束。而实例化阶段从主题实体出发沿着选定的关系路径在 KG 中进行遍历检索实体并生成实例化的推理路径。之后则利用推理-内省策略确保推理的可靠性。首先LLM 从预定义的约束库如类型约束、多实体约束、显式/隐式时间约束、顺序约束中提取问题包含的约束通过LLM验证并判断实例化的推理路径是否满足提取的约束。04实验4.1 实验设置数据集采用WebQuestionSP (WebQSP), Complex WebQuestions (CWQ), MetaQA评价指标包括Hit (H), Hits1 (H1), F1 score。主要对比基线模型包括以下三类监督学习 (SL): 如 RoG, GNN-RAG上下文学习:如 ToG, DoG以及混合学习如 Interactive-KBQA, LightPROF。4.2 主要结果DP 在大多数数据集上取得了一致的 SOTA 性能。例如在 CWQ 数据集上DP 比 LightPROF 在H1 指标上高出 16.5%。同样相比于 Vanilla LLMsDP 表现出更低的方差和更高的鲁棒性。DP 能够提升不同 LLM如 LLaMA3.1, GPT-3.5, GPT-4o)的性能。而消融实验表明 DP 的各个组件都至关重要, 去除KTO导致性能下降证明了渐进式蒸馏对提升结构模式感知的作用。而去除内省模块导致性能下降最显著证明了其在确保可靠性方面的关键作用。约束预定义比让 LLM 自动生成约束更有效手动定义约束的移除导致了性能下滑。在效率与实用性方面相比于 ToG 和 DoG 等方法DP 在回答问题时需要的 LLM 交互次数更少例如在 CWQ 上仅需 2.9 次且 Token 消耗更低显示了其高效利用先验知识的能力。05总结本文提出了 DP 框架通过审慎利用嵌入在知识图谱中的先验知识实现了大语言模型的可信推理。1离线阶段通过渐进式知识蒸馏策略SFTKTO使 LLM 能够生成忠实的关系路径。2在线阶段通过推理-内省策略利用约束先验进行路径选择和验证有效提升了回答的可靠性。3局限性与展望当前方法在垂直领域应用时仍依赖人工定义的约束。未来的工作将致力于研究自动提取和总结约束类型的方法以减少人工投入并提高扩展性。笔记整理康家溱东南大学硕士研究生研究方向为大语言模型后训练论文链接https://arxiv.org/abs/2505.15210发表会议NeurIPS 2025