一、背景故事交接班本上的信息黑洞产线的交接班大概是信息损耗最严重的管理环节。白班下班前当班工程师把本班发生的事口头讲给夜班同事哪个腔体报警过、哪批wafer异常、哪个参数调过、还有哪些问题没处理完。夜班同事一边听一边记运气好记个七八成运气差漏掉关键信息。第二天白班再来夜班又讲一遍信息再打一次折。我们厂的情况更具体异常台账靠手工补录白班工程师下班后花半小时把夜班发生的事填进系统但夜班的人已经走了很多细节记不清。统计下来台账的完整率只有六成左右——意思是四成异常要么没记录要么记录的信息残缺。更麻烦的是交接班讨论里的处置经验当时怎么判断的、为什么这么处理完全没有沉淀下次遇到同样问题还得从头摸索。转机出现在今年年初我们尝试用Whisper把交接班录音自动转写成文字再用大模型抽取结构化信息自动生成异常台账。跑通之后台账完整率从六成提到了九成五交接班知识第一次被完整保存下来。这篇文章把整个方案的技术细节、踩过的坑和效果数据完整分享出来。二、技术原理Whisper与信息抽取的流水线Whisper是OpenAI开源的语音识别模型核心是编码器-解码器的Transformer架构编码器把音频转成特征序列解码器逐token生成文本支持多语言自带时间戳对齐能力。对我们这种场景最有用的是两点一是中文识别质量高二是可以输出每个词的时间戳方便后续对齐到录音的哪个时间段。整套流水线分四步。第一步录音采集交接班时用录音笔或手机录下全程。第二步转写Whisper把音频转成带时间戳的文本。第三步信息抽取把转写文本喂给LLM用提示词抽取结构化字段输出JSON。第四步入库JSON写入台账数据库异常自动关联到设备、批次。四步里前两步是通用能力后两步的定制化决定了方案好不好用。为什么不用现成的会议转写软件试过但产线场景有三个特殊需求它们满足不了一是专业术语CVD、ETCH、腔体号、SECS报警码识别准确率要求高二是输出必须是结构化字段而不是自由文本要直接进台账系统三是数据不出厂区的合规要求云端的会议软件没法用。自建流水线虽然要花时间但每一点都是刚需。三、现状分析传统交接班的流程与缺陷先还原传统交接班的标准流程。班次结束前半小时当班工程师开始整理本班记录包括设备异常哪个腔体、什么报警、处理动作、批次异常哪些lot受影响、良率情况、参数变更谁改了哪个参数、为什么改、遗留事项哪些问题需要下一班继续跟进。然后双方到交接班室口头过一遍签字确认。这个流程的缺陷是系统性的。第一口头传递的信息衰减一次交接十几分钟信息密度高听的人记不全很正常。第二记录介质脆弱手写本容易丢、容易字迹难辨电子表格靠人工录入漏录错录难免。第三信息不可检索交接班记录是流水账想查上周三CVD-02腔体报过什么警要翻半天本子。第四经验不沉淀处置思路、判断过程这些最有价值的信息从来不会写进台账。我们做了个摸底随机抽了一个月的交接班记录对照当天的设备日志和工单记录发现漏记的异常占三成记录信息不完整的占一成半还有约一成记录与实际情况有出入。台账作为追溯依据的可靠性其实比管理层以为的低得多。四、瓶颈问题落地时踩过的五个坑坑一术语识别。Whisper默认词表里没有腔体CVD刻蚀机台SECS报警这类词汇第一次测试转写文本里把ETCH听成爱去把腔体听成枪体术语准确率只有六成。坑二口语化与倒装。交接班讲话大量使用口语、省略主语、夹杂数字那个3号腔昨天换了heater今天又报了这种句子LLM抽取时很容易把时间、设备、动作对应错。坑三多人同时讲话。交接班有时是两三个人一起说交叉讲话时Whisper会把两句话混成一句抽取结果直接乱掉。坑四环境噪声。产线附近录的音有设备背景噪声信噪比低的时候识别率明显下降。坑五合规与部署。录音涉及产线信息必须本地部署Whisper大模型要GPU当时IT只给了CPU机器large模型跑不动v3模型转写半小时录音要二十分钟速度不达标。还有一个隐性坑台账字段设计。最初我们设计的字段跟传统台账一样时间、设备、异常、处置但LLM抽取时发现处置经验这类自由文本字段抽取质量很差后来把字段重新设计成异常现象、判断依据、处置动作、遗留事项四个结构化字段抽取质量立刻上来了。五、解决方案五个坑的对应解法解法一术语热词与提示词定制。Whisper的initial_prompt参数可以注入上下文我们把厂里的设备清单、腔体编号、常用术语列表塞进去术语识别准确率从六成提到九成以上。同时转写后加一道术语修正规则用正则把常见的错误映射爱去→ETCH自动纠正。解法二LLM抽取用结构化提示词明确每个字段的定义、格式、示例并让模型先输出抽取依据再输出结果减少错配。解法三录音约束。规定交接班时主要发言人佩戴领夹麦交叉讲话时按谁主讲谁发言的纪律来实在避免不了的片段转写后人工在抽取前过滤掉噪声句。解法四降噪与分段。转写前先用简单的高通滤波去低频设备噪声录音按时间戳分段转写避免长音频的累积误差。解法五部署方案改为GPU推理。申请了一台带单张消费级GPU的服务器Whisper large-v3转写半小时录音从二十分钟压到四分钟交接班结束后五分钟内台账就能生成。数据全程本地处理不出厂区合规问题解决。字段设计上把自由文本拆成四个结构化字段后抽取准确率从七成五提升到九成五。六、实战案例一次完整的技术验证过程验证过程分三个阶段。第一阶段两周概念验证。收集两周的真实交接班录音共四十八段人工转写作为基准对比Whisper自动转写的字错误率。初始字错误率约百分之十二加入术语热词和降噪后降到百分之五对台账场景完全够用。第二阶段三周抽取链路。设计提示词模板用三十段录音人工标注抽取结果做评测迭代了三版提示词字段级准确率从八成提到九成五。第三阶段一个月试点运行。选了一个工艺区试点交接班录音自动转写、自动抽取、自动生成台账草稿值班长审核确认后入库。试点一个月共处理一百二十次交接班生成台账一百一十条对比传统手工补录台账完整率从六成提升到九成五平均补录时间从每班三十分钟降到五分钟漏记的异常从每月约十起降到两起以内。最惊喜的副产品是处置经验库转写文本里的判断过程和处置动作被结构化保存后我们积累了上百条真实处置案例。新工程师遇到同类异常时直接在系统里搜历史处置记录相当于把最有经验的师傅的口头禅变成了可检索的知识库。七、实施效果台账从应付检查变成决策资产方案上线三个月的整体效果台账完整率稳定在九成五以上异常记录的追溯准确性大幅提升品保和工艺团队做异常复盘时终于有了可信的依据。交接班时长也因为信息传递效率提高而缩短——大家知道录音会被转写成台账讲的时候更有条理平均交接班时间从二十分钟缩短到十二分钟。成本账也值得算硬件投入是一台GPU服务器加录音设备一次性成本约数万元运行成本主要是推理电费可以忽略人力投入是开发期约两个月的工作量。对比的收益是每月减少约八起漏记异常按每起异常平均损失工时四小时、每小时产能成本数千元估算两个月就收回了投入。最后说三点经验第一这类AI落地的关键不在模型在数据链路——录音质量、术语表、字段设计决定了效果上限第二让一线工程师参与提示词和字段设计他们才知道什么信息对台账真正有用第三先从单点场景跑通再推广别一上来就铺全厂。八、常见问题与延伸阅读Q1转写文本里专业术语还是错怎么办术语问题有三层解法从简单到复杂依次上。第一层Whisper的initial_prompt参数把设备清单、腔体编号、工艺名词列表作为上下文注入识别准确率会有明显提升第二层转写后加一道规则修正把高频错误映射表做成正则替换比如爱去替换为ETCH、枪体替换为腔体错误映射表在试点期积累两周就能覆盖八成以上的高频错误第三层对仍然识别错的术语用LLM结合上下文自动纠错——把设备清单喂给LLM让它根据语义判断用户说的是哪个术语。三层叠加术语准确率可以稳定在九成五以上。Q2LLM抽取的信息不靠谱敢直接进台账吗敢但要有兜底设计不能裸奔。我们的做法是三级审核第一级LLM抽取结果先做规则校验——时间格式、设备编号是否在清单里、必填字段是否齐全不合规的直接标红第二级值班长在系统里做人工确认看到的是抽取结果加转写原文对照确认时间从每班三十分钟降到五分钟第三级每周抽样复核对比台账与原始录音统计抽取准确率并回灌给提示词迭代。这套机器抽取、人工确认、定期复核的流程既保留了自动化的效率又守住了台账质量的底线。Q3录音涉及隐私和保密合规上要注意什么合规是这类项目的前提我们踩过的坑总结成四条。第一知会同意交接班区域张贴告示向员工说明录音仅用于交接班信息记录不用于监控个人第二最小化存储录音文件保留三十天后自动删除只保留转写文本和台账数据第三访问控制录音和转写文本按角色授权值班长以上才能访问操作留痕第四数据不出厂全部处理在厂内服务器完成不调用任何云服务。把合规设计放在项目第一天而不是最后一天否则上线前合规审查不过前面全白做。延伸思考交接班知识库还能怎么用台账自动化只是起点沉淀下来的转写文本是更值钱的资产。三个延伸方向第一异常处置案例库把异常现象加处置动作结构化新工程师遇到同类异常直接检索历史处置记录相当于把老师傅的经验变成可查询的知识第二交接班质量分析统计各班组交接班的完整度、异常报告的详细度反向推动交接班规范第三与设备日志联动台账里的异常事件自动关联设备日志和工艺参数异常复盘时一条时间线看全所有信息。每走一步交接班数据从记录向资产的转化就更深一层。Q4整套方案的硬件和运行成本大概多少按我们这套单厂区部署的配置算一笔账。硬件一台带单张消费级GPU显存二十四G左右的服务器约数万元录音设备用领夹麦加录音笔每间交接班室几百元按十间算不到万元。软件Whisper、LLM全部用开源模型零授权费。运行成本主要是电费GPU推理半小时录音约四分钟一天几十次转写电费可以忽略存储按录音保留三十天算每月几十G成本极低。人力成本是大头开发期两个人月左右日常维护每周几小时。总体看一次性投入几万元每月运营成本千元级对比台账完整率提升带来的管理收益投入产出比非常划算。最后总结一下这个项目最核心的经验AI工具在产线落地难的不是模型是把模型嵌进现有流程。Whisper再好用如果交接班习惯不改、字段设计不合理、审核流程不配套照样落不了地。我们花在流程设计上的时间是模型调试的两倍但正是这部分工作让方案真正活了下来。给想做类似项目的同行一句话先想清楚业务流程的每个环节再谈技术选型顺序别反。九、行动清单两周内跑通的最小验证如果你对这个方案感兴趣建议按最小成本先验证两周第一周用一台普通电脑跑WhisperCPU也能跑慢一点而已把两周的交接班录音转成文字手工整理术语错误清单这就是你的热词表初稿第二周用你手上的大模型API或本地模型写一版信息抽取提示词把转写文本抽成台账字段人工核对一周的抽取准确率。两周后你就有了一组真实数据术语准确率多少、抽取准确率多少、完整率提升多少拿着这组数据去申请GPU服务器和立项比任何PPT都有说服力。先跑起来再谈完善。补充一个上线后的观察方案跑顺之后交接班的质量本身也在提升。因为知道录音会被转写、内容会被记录大家交接班时讲得更完整、更有条理很多以前口头说说就完了的细节现在都会主动讲清楚。工具改变了流程流程反过来塑造了习惯这是这个项目最意外的收获。八、配图数据可视化图1录音转写台账自动化流水线图2转写与台账效果对比九、异常台账结构化字段设计表字段内容定义抽取难度示例异常现象发生了什么客观描述低CVD-02腔体报加热器温度漂移判断依据为什么认为异常/如何确认中历史数据对比温度偏差超5度处置动作采取了什么措施中切换备用加热器批次暂停遗留事项下一班需要跟进什么中今日PM确认加热器更换涉及设备设备/腔体编号低CVD-02涉及批次lot编号低LOT-20260810-031十、优化前后台账质量对比表指标优化前优化后改善幅度台账完整率60%95%提升35个百分点漏记异常每月约10起2起以内下降80%补录耗时每班30分钟5分钟下降83%术语识别准确率60%90%热词修正规则抽取字段准确率75%95%结构化提示词平均交接班时长20分钟12分钟信息传递更高效十一、配套资料与实战工具本文配套了完整的实战工具包包含文中涉及的参数模板、检查清单、SQL脚本和自动化脚本可直接用于工厂落地实施。点击上方「VIP资源」下载区免费获取以下五项配套资料持续更新中MES/设备通信接口性能优化参数模板连接池、超时、限流配置缺陷回顾标准判读流程与SEM特征对照手册SQL窗口函数良率分析实战脚本集含示例数据光刻显影缺陷排查Checklist与DOE实验记录表SPC箱线图分析与Whisper台账自动化Python脚本包────────────────────────────────────────本文首发于博客半导体智能制造| MES工程师实战笔记你遇到过类似的问题吗是怎么解决的欢迎在评论区分享你的实战经验一起交流进步。标签半导体AI融合| Whisper |语音转写|交接班|异常台账|自动化