尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

第34篇:超出能力范围的兜底拒绝机制

第34篇:超出能力范围的兜底拒绝机制 第34篇:超出能力范围的兜底拒绝机制本文是"智能助手架构设计与实现"系列第 34 篇,安全与防护篇的第二篇。前文我们拆解了月度费用上限控制,解决了"钱"的问题。本篇聚焦另一个安全维度——能力边界控制:当用户提出的需求超出智能助手的能力范围时,系统如何明确拒绝而非胡乱回答?为什么在政务系统中,"不知道"比"瞎说"更重要?System Prompt 约束、UNKNOWN_REPLY常量、四道兜底防线如何协同,确保大模型永远不越界?一、问题背景:大模型的"幻觉"危机1.1 大模型的编造倾向大语言模型(LLM)的训练目标是"生成连贯的文本",而非"生成正确的文本"。当用户提出一个模型不具备能力的问题时,模型倾向于编造看似合理实则错误的内容,而非承认"我不知道"。这种倾向在通用场景中或许只是闹笑话,但在政务系统中是致命的:场景大模型编造的回答后果“帮我查一下张三的工资”“张三的工资为 8500 元”泄露个人隐私,违反数据安全规定“删除所有已完成项目”“好的,已删除 1
返回列表