LGM: Enhancing Large Language Models with Conceptual Meta-Relations and Iterative Retrieval
文章核心内容、创新点及关键部分翻译一、主要内容总结该研究针对大型语言模型(LLMs)在处理模糊概念、多跳推理及长文本时存在的局限性,提出了语言图模型(LGM)。其核心思路是通过提取概念间的元关系并结合迭代检索机制,增强模型的概念理解能力和响应准确性,具体内容如下:核心背景:现有检索增强生成(RAG)方法存在不足——向量数据库类方法难以处理多跳推理,知识图谱类方法易丢失上下文且扩展性有限,同时LLMs存在“中间遗忘”问题,无法有效处理超长文本。模型架构:LGM包含两个核心子图和两大核心阶段。子图方面,句法关系图(SRG)存储句子的语法依赖和原始文本信息,概念关系图(CRG)存储概念间的元关系;阶段方面,学习阶段通过自然语言处理(NLP)工具、关系提取和反射机制构建两大子图,概念迭代检索阶段通过概念扩展、并行检索和响应合并实现精准推理。关键机制:元关系提取:受道家哲学启发,定义继承(如水果与苹果)、别名(如阿司匹林与乙酰水杨酸)、组合(如苹果与果皮/果肉/果核)三类元关系,丰富概念定义。反射机制:验证提取的元关系可靠性,输出有效、无效或未知三种状态,过滤错误关系。概念迭代检索算法:以概念为最小检索单元,通过扩展概念关联、分块并行处理文本、迭代聚合信息,解决多跳推理和长文本处理问题。实验验证:在H