尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

【AI黑话日日新】Day 068|Constrained Decoding(约束解码)

【AI黑话日日新】Day 068|Constrained Decoding(约束解码) 约束解码是在模型每写一字前,先划掉会破坏格式的候选,逼它只能产出合法结构。1. 它到底在说什么当你让大模型返回一段能被程序直接读走的数据——比如一段 JSON、一条 SQL、一个订单号——最怕的就是它偶尔“手滑”:多一个逗号、少一个括号、自创一个字段。普通的做法是写提示词“请只输出 JSON”然后祈祷,再写一堆解析兜底和重试。约束解码(Constrained Decoding)干的事更彻底:它直接钻进模型的生成环节,在每一步生成之前先算出“哪些字还能让输出保持合法”,把其余所有可能的字全部划掉,模型在结构上根本选不到它们。打个比方:提示词约束像“告诉员工填报销单要规范”,你永远要抽查;约束解码像“把报销单做成一张只能在下拉框里选、错一格就提交不了的电子表单”,从源头上不可能填错。它不关心员工想写什么,只守格式这条红线。2. 为什么现在这个词很热约束解码的思想并不新。早在 2019 年,Deutsch 等人就提出用下推自动机(pushdown automaton)做语法约束解码;2021 年 Shin 等人用 GPT-3 配上精心设计的文法做语义解析,已预见到“大模型加文法”的潜力。但真正把这套方法变成现代开源基础设施的,是 2023 年 7 月 Willard 与 Louf 的论文《Efficient Guide
返回列表