尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models

STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models 该文章提出了STEAM语义级知识编辑框架,解决现有大语言模型知识编辑中语义连贯性不足的问题,通过潜在空间定位与对齐,让更新知识更好融入模型原有知识结构,提升推理能力与语义一致性。一、文章主要内容现有知识编辑方法的局限大语言模型(LLMs)经大规模预训练存储大量事实知识,但知识具有静态性,需知识编辑更新过时或错误事实,避免全量重训练。多数现有“定位 - 编辑”方法聚焦于token级似然优化,仅追求最大化新目标实体生成概率,未解决语义连贯性问题。经分析,这些方法编辑的知识在模型潜在空间中常以孤立残差流形式存在,与原有知识分离,且绕过模型自然推理过程,导致在关联事实一致性维护、复杂推理等任务中表现不佳。STEAM框架设计核心目标:实现语义级知识整合,让更新后的知识与模型原有知识结构语义连贯。两大关键组件潜在定位(Latent Positioning):从外部知识库(如Wikidata)获取与新目标实体相关的参考事实,筛选模型已内化的参考知识,提取其在模型中层的隐藏状态并取均值,得到语义锚点,该锚点模拟模型通过预训练自然编码新实体的方式。潜在级对齐(Latent-Level Alignment):在优化新事实的价值向量时,新增潜在对齐损失((L_{LA})),通过计算编辑事实隐藏状态与语义锚点的余弦距离
返回列表