A Multifaceted Analysis of Negative Bias in Large Language Models through the Lens of Parametric ...
文章总结与翻译一、主要内容该研究聚焦大型语言模型(LLMs)在二元决策任务(如是非问答)中的负向偏差问题,即模型过度生成否定性响应(No)的倾向。研究从参数知识视角出发,通过多维度分析揭示负向偏差的核心影响因素与作用机制,主要内容如下:负向偏差的定义与本质:提出“格式层面的负向偏差”概念,指出模型的否定性响应更受提示格式影响,而非响应的语义内涵。例如,在直接要求“回答是/否”时,模型更倾向于输出“No”,即便语义上应选择肯定答案。基于参数知识的数据集构建:设计了一套评估集构建流程,将数据集按模型参数知识状态划分为三类子集:具备正确知识(parametric)、具备错误知识(counter-parametric)、缺乏相关知识(absent),并转换为是非问答(YNQA)和多项选择问答(MCQA)两种格式。负向偏差的关键发现:缺乏相关知识(absent子集)时,负向偏差最为显著,模型会因知识不足而采取“捷径行为”,优先输出否定性响应。负向偏差与模型规模无强相关性,是独立于模型大小的问题。不同提示策略对偏差影响不同:提供相关上下文、增加“我不知道”(IDK)选项可缓解偏差;而思维链(CoT)提示会放大偏差。提示格式显著影响偏差程度:将是非问答转换为简单多项选择格式(如YNMCQA),可同时降低偏差并提升加权F1分数。机制分