来源arXiv · CHIIR 2026 Workshop · 2026年6月8日论文Report on CHIIR 2026 Workshop on Generative AI and Academic Search (arXiv:2606.08936)作者Yifan Liu (UBC) 等含 Chang Liu (Peking U)、Soo Young Rieh (UT Austin)标签#学术搜索 #生成式AI #信息检索 #偏见 #搜索即学习你让 LLM 列顶级学者它给你的是引用量排行榜不是学术实力榜你正在做一个学术搜索产品。用户搜强化学习领域的顶级学者你的系统调用 LLM 生成了一份 10 人名单。你觉得很全面——都是大名鼎鼎的人物。但你没有意识到一个问题这份名单里高被引学者被提到的概率是低被引学者的两倍论文 Section 2.2。你的顶级学者榜不是学术实力的真实分布而是被引用量扭曲后的镜像。那些低被引但同样优秀的研究者——特别是非英语圈、非顶尖机构的年轻学者——被 AI 系统性地隐藏了。这不是假设。CHIIR 2026 的 Generative AI and Academic Search Workshop 报告揭示了学术搜索 AI 化的多个陷阱。Afra Mashhadi 的研究用 1,596 名种子作者覆盖 10 个学科、8 个全球区域测试了 DeepSeek R1、Llama 4 Scout 和 Mixtral 8×7B 在重构学者合作者列表时的表现——高被引研究者被 LLM 生成的概率是低被引同行的两倍论文 Section 2.2。这个发现对每一个做知识库产品、学术搜索工具、甚至用 AI 做文献综述的人都有直接价值。下面拆解 Workshop 报告的核心发现、为什么AI 摘要会降低学习效果、以及如何在不牺牲效率的前提下保留搜索即学习的认知价值。Workshop 聚焦了什么CHIIR 2026 的 Generative AI and Academic Search Workshop 聚焦四个核心主题论文 Section 1支持科研与教育设计、评估与人机交互GenAI 时代的搜索即学习搜索完整性与伦理FATE公平、问责、透明、伦理参与者主要来自人机信息交互IIR和信息检索IR领域。讨论围绕一个核心张力GenAI 降低了搜索门槛但提高了验证门槛论文 Section 2.1。以前搜索的门槛是你会不会用关键词、会不会读论文现在搜索的门槛是你能不能判断 AI 生成的内容是否准确、是否完整、是否有偏见。前者是技能门槛后者是认知门槛——后者更难跨越。三个关键陷阱陷阱 1认知卸载——搜索不再等于学习学生越来越倾向于把关键认知过程外包给 AI——概念区分、批判性思考、信息评估都交给 LLM 做论文 Section 2.3。这违背了搜索即学习的初衷。搜索即学习理论认为搜索过程本身就是一种学习——你在关键词选择中学习概念边界在结果筛选中学习判断力在多篇文章对比中学习批判性思维。当 AI 替你做了这一切你拿到了答案但跳过了学习。报告提出了有益的摩擦beneficial friction概念论文 Section 3.2——系统应该故意保留一些决策点要求用户练习辨识力而不是一味追求效率。就像健身房的器械不能帮你举杠铃学术搜索系统不应该替你做概念区分。从产品设计的角度这是对一键生成式产品的直接挑战。大多数 AI 产品的设计目标是减少用户操作步骤但学术搜索的场景恰恰需要保留一些必须由用户自己做的操作——因为这些操作本身就是学习过程。陷阱 2富者愈富的学术偏见Afra Mashhadi 的研究是这篇报告里数据最扎实的部分论文 Section 2.2。评估了三个 LLM 在重构学者合作者列表时的表现评估模型DeepSeek R1、Llama 4 Scout、Mixtral 8×7B数据集1,596 名种子作者来自 OpenAlex 和 Google Scholar覆盖范围10 个学科、8 个全球区域核心发现高被引研究者被 LLM 重构的概率大约是低被引同行的两倍LLM 不是在反映学术世界的真实分布而是在放大引用量带来的可见性偏差。这个富者愈富效应在学术界本来就存在——高被引论文更容易被发现、被引用形成马太效应。LLM 把这个效应进一步放大了——它不仅推荐高被引学者还在生成过程中把低被引学者遗忘了。从行为心理学的角度这是可得性启发Availability Heuristic在 LLM 中的体现。高被引学者在训练数据中出现频率更高LLM 回忆起他们的概率更大。这不是 LLM 的恶意而是训练数据分布的必然结果——但效果是系统性地压制了学术多样性。对知识库产品的直接警示如果你的 AI 搜索产品在生成推荐列表时依赖 LLM你的列表几乎一定有引用量偏倚。解法不是不用 LLM而是在生成后加一层多样性检查——确保低被引但有质量的学者也被包含。陷阱 3信任的不对称报告发现一个有趣的信任不对称论文 Section 2.1学生过度信任 GenAI教职员工则不信任它。结果是双输的学生用了不该用的 AI 输出因为过度信任教师拒绝了可能有用的 AI 辅助因为不信任。GenAI 降低了搜索门槛但提高了验证门槛——而验证能力恰恰是学生最缺的。从用户研究的角度这是一个典型的信任校准问题。用户对 AI 的信任不是太高或太低而是错位——在不该信的时候信该信的时候不信。解法不是简单地增加信任或减少信任而是帮用户建立什么时候信、什么时候验证的判断框架。AI 摘要的喜忧参半效果Kevin Schott 评估了基于前 5 个搜索结果生成的 AI 摘要论文 Section 2.2正面降低了用户心理负荷负面减少了点击和查询重构次数——用户不再深入探索总体效果“喜忧参半”无统计显著性数据这指向一个深层问题AI 摘要让用户觉得已经知道了但实际上他们只看到了 LLM 的概括错过了原始文献中的细节和争议。从信息检索的角度这叫满足感替代了理解。用户读到 AI 摘要后产生的我懂了的感觉和真正读论文后产生的我懂了是不一样的——前者是信息摄入的满足感后者是认知重构的理解感。AI 摘要给的是前者但用户误以为获得了后者。这对学术搜索产品的设计有直接影响AI 摘要不应该替代原始文献而应该作为探索的起点。在摘要旁保留原始文献链接、在摘要中标注这一点来自哪篇论文、在关键争议处提示不同论文有不同观点——这些设计能把满足感转化为探索欲。信息问题空间框架三层而非三步Chang Liu北京大学在 Workshop 中提出了信息问题空间框架论文 Section 2.1用于建模用户如何将信息需求分解为提示词。框架包含三个层级分解将复杂信息需求拆解形式化将需求结构化表述形成具体的提示词这个框架看似简单但解决了一个被大多数 AI 搜索产品忽略的问题用户的搜索意图不是一个原子查询而是一个从模糊到清晰的逐步精化过程。当前大多数 AI 搜索产品的设计是用户输入 → AI 输出的单步交互。但真实的学术搜索是模糊兴趣 → 逐步聚焦 → 精确查询 → 结果评估 → 重新聚焦的迭代循环。信息问题空间框架提醒产品设计者你不仅要支持最终的精确查询还要支持前面从模糊到清晰的精化过程。报告还提到两个鸿沟论文 Section 2.1执行鸿沟用户希望系统做什么 vs 系统实际支持什么评估鸿沟用户希望了解多少关于工具内部运作的反馈这两个鸿沟对任何 AI 产品都适用。执行鸿沟是用户想做的事系统做不了评估鸿沟是系统做了但用户不知道怎么判断好不好。AI 摘要解决了执行鸿沟用户想快速了解系统能生成摘要但加剧了评估鸿沟用户不知道摘要是否准确、是否完整。对知识库产品的六条建议报告对学术搜索/知识库产品提出了具体建议论文 Section 3别只做 RAG 式直接答案——复杂学术任务应保留探索性搜索过程让用户在搜索中学习引入有益的摩擦——在决策点要求用户参与而非全自动支持跨会话长期需求——如文献综述监控、研究空白识别高级文献处理——论文列表的总结、比较/对比、前后向引文链追踪偏见审计——识别并高亮用户交互中的确认偏误防范 LLM 的学术代表性偏见透明度——系统必须传达其对响应准确性和完整性的信心水平这六条建议中第 5 条偏见审计是最容易被忽略但价值最高的。大多数产品的偏见处理是事后补救——发现偏见了再修。但学术搜索的偏见是结构性的训练数据分布决定事后修补效果有限。更好的做法是在生成时就加偏见检测——比如检查推荐列表中被引量分布是否过度集中如果是则主动补充低被引但有质量的学者。启发与反思一键生成不是万能产品哲学大多数 AI 产品的设计目标是减少用户操作步骤。但学术搜索场景恰恰需要保留一些必须由用户自己做的操作。这让我想到 Claude Design 方法论里的Don’t Make Thinking原则——让用户不思考是好事但不等于让用户不参与。学术搜索的有益摩擦和 Claude Design 的苏格拉底式引导是同一个理念的不同应用不是替用户做决定而是引导用户自己做决定。马太效应在 AI 时代被加速了学术界的马太效应富者愈富本来就存在LLM 把它加速了。这让我想到推荐系统的信息茧房问题——推荐算法放大了用户已有偏好LLM 放大了学术已有偏见。解法也类似推荐系统用探索-利用平衡来打破茧房学术搜索可以用高被引低被引混合推荐来打破偏见。对 OpenClaw 知识库的直接启示OpenClaw 的知识路由系统在推荐知识时当前以相关性为目标。但 CHIIR 报告告诉我相关性不是唯一维度——还要考虑多样性是否覆盖了不同观点和公平性是否压制了小众但有质量的知识来源。具体来说OpenClaw 知识路由可以加一层偏见检查推荐列表中的知识来源是否过度集中在某些高引用文档如果是主动补充低引用但相关的内容。这不需要改模型只需要在路由后加一个后处理步骤。AI 摘要应该当目录用不是当内容用Kevin Schott 的研究让我意识到AI 摘要的问题不是不正确而是给用户满足感替代了理解感。解法不是不生成摘要而是把摘要定位为目录而非内容——摘要告诉用户有哪些论文、它们说了什么方向但具体结论和争议需要用户点击原文去看。在摘要中嵌入原文链接、在关键点标注详见原文 Figure X把满足感转化为探索欲。三类人的行动清单 工程师在 AI 推荐列表中加多样性检查——高被引2倍偏见是结构性的论文 Section 2.2不是换模型能解决的。在生成后检查被引量分布过度集中则主动补充低被引内容。AI 摘要旁保留原始链接——Kevin Schott 证明 AI 摘要会减少用户点击论文 Section 2.2。在摘要每个关键论点旁嵌入原文链接把满足感转化为探索欲。实现有益的摩擦——在关键决策点如是否采纳 AI 建议加确认步骤而非全自动。摩擦不是阻碍是认知参与的机会。明天就能做检查你的 AI 搜索产品生成的推荐列表统计被引量分布。如果 top 20% 的内容占了 80% 以上的推荐你有偏见问题。 技术管理者学术搜索不是纯效率问题——“搜索即学习意味着系统设计要保留认知摩擦论文 Section 2.3。你的 KPI 不应该只有搜索效率”还要有用户学习效果。偏见审计是合规要求——LLM 的富者愈富偏见可能带来代表性问题论文 Section 2.2。如果你的产品用于学术评估、招聘、资助决策偏见是法律风险。信任校准比信任提升更重要——学生过度信任、教师不信任两者都是问题论文 Section 2.1。产品需要帮用户建立什么时候信、什么时候验证的判断框架。明天就能做评估你的 AI 搜索产品是否有偏见审计机制。如果没有这是本周最高优先级。 创业者/PM有益的摩擦是差异化——大多数产品追求全自动保留人类判断空间反而是卖点。学术用户特别在意我自己思考了而不是AI 替我想了。偏见审计工具是蓝海——大多数 AI 搜索产品不检测偏见谁先做谁占位。跨会话长期需求是产品扩展方向——文献综述监控、研究空白识别、学者追踪这些都是长期信息需求当前产品几乎不支持论文 Section 3。明天就能做读报告 Section 3 的六条建议评估哪些可以转化为你的产品功能。局限与诚实标注这是 Workshop 报告不是技术研究——无系统架构设计、无大规模定量实验论文性质决定。核心价值是提出问题和方向而非给出解决方案。偏见测试样本有限——仅覆盖 1,596 名作者、3 个 LLM论文 Section 2.2。其他 LLM 和更大规模的学者数据库上的偏见程度未知。AI 摘要研究喜忧参半无统计显著性——Kevin Schott 的研究是定性的喜忧参半没有统计显著性数据论文 Section 2.2。不能据此断言AI 摘要一定降低学习效果。建议偏概念性——六条建议是方向性的具体实现方案如有益的摩擦怎么设计、偏见审计怎么做需要进一步研究。信息问题空间框架三层是概念模型——论文未提供实证验证数据框架的实用性待检验。AI 素养课程调查数据——2,076 名学生和 101 名图书管理员的调查论文 Section 2.2样本量尚可但可能有人群偏倚参与调查的可能本身就更关注 AI 素养。延伸阅读论文原文https://arxiv.org/abs/2606.08936用户体验评估UXBench (arXiv:2606.09570) — AI 助手用户体验基准同日学习日报推荐系统偏见信息茧房相关文献⏱️如果只有 5 分钟看论文 Section 2.2LLM 学术偏见测试和 Section 3对知识库产品的六条建议。 数据溯源声明验证等级Level A全文研读研读方式web_fetch arXiv HTML 全文 (https://arxiv.org/html/2606.08936)文中数据来源分布论文 Section 11处四个核心主题论文 Section 2.14处信任不对称、搜索门槛vs验证门槛、信息问题空间框架三层、两个鸿沟论文 Section 2.25处高被引2倍偏见、1596名作者/10学科/8区域、3个LLM、AI摘要喜忧参半、AI素养调查2076学生101图书管理员论文 Section 2.32处认知卸载、搜索即学习论文 Section 33处有益摩擦、六条建议、透明度原则推测0处日报纠偏日报称三层架构数据层/推理层/交互层“论文中不存在实际为信息问题空间框架的三层分解/形式化/表述和两个鸿沟”执行鸿沟/评估鸿沟。日报称已在arXiv等平台验证论文中未提及arXiv验证案例。专家贡献5处启发与反思一键生成产品哲学反思 / 马太效应加速 / OpenClaw偏见检查 / AI摘要当目录用 / 可得性启发路易乔布斯 © 2026 · AI论文观察 · 学术搜索CHIIR 2026 Workshop · 2026.06基于 arXiv HTML 全文研读数据已溯源含启发与反思