这次我们直接聊一个能放在半导体产线上落地的 AI Agent良率预测。标题里那串“油气、半导体、创新药、乱七八糟、兵行如水”看起来像随手堆的标签但真正有价值的技术锚点只有一个——半导体。油气行业要做设备故障预测创新药要做分子活性筛选本质都离不开同一套“数据采集 → 特征工程 → 模型训练 → API 服务”的 AI 工作流。本文就把这套工作流拆开以半导体良率预测为例给你一条可以从零跑通的实践路径。先说结论良率预测不是只有大厂才能做的算法竞赛而是一个普通 GPU 甚至纯 CPU 都能跑起来的工程项目。它不是一个固定软件而是一套可组合的技术栈。你要准备的无非是结构化工艺数据、合适的监督学习模型以及一个能对外提供预测服务的接口。下面我会从核心能力、环境准备、模型训练、API 部署、批量预测、性能优化、排错清单这几个角度一次性讲清楚。1. 核心能力速览能力项说明项目类型半导体制造良率预测 AI Agent模型 数据管道 API 服务核心功能根据工艺参数和量测数据预测晶圆/批次良率输出风险概率与分档结果输入数据结构化表格数据如设备参数、温湿度、压力、化学试剂浓度、量测特征等输出结果良率预测值、Pass/Fail 分类、特征重要性排序、异常预警支持批量任务支持 CSV/DataFrame 批量预测可接入产线定时任务接口 API可使用 FastAPI/Flask 封装 REST API供 MES/SCADA 系统调用显存需求大部分表格模型 CPU 可跑深度学习模型建议 6G 以上显存以实际数据量测试为准启动方式Python 脚本训练 FastAPI 服务启动适合场景半导体 Fab 良率分析、设备预测性维护、工艺参数优化、跨行业迁移到油气/创新药等 AI 预测任务这个 Agent 解决的核心问题是在晶圆制造过程中影响良率的变量有几百个靠人工看趋势很难提前发现异常。把历史数据交给模型学习就能在批次下线前给出风险提示帮助工程师优先处理异常批次。2. 适用场景与使用边界2.1 适合谁用最适合三类人半导体工艺工程师想用 AI 辅助分析良率但又不熟悉完整的数据建模流程。MES/智能制造开发人员需要把预测模型封装成 API嵌入现有产线系统。AI 应用开发者想找一个有业务价值的 Tabular 数据落地项目并希望迁移到油气、医药等行业。2.2 能解决什么问题在晶圆批次完成测试前提前预测良率区间识别高风险批次。输出工艺参数的特征重要性辅助工程师定位可能的影响因子。对设备腔室状态进行持续监控发现潜在 drift。为生产排产提供参考避免把资源浪费在注定低良率的批次上。2.3 不适合什么场景没有足够历史数据时强行训练只会得到不可靠结果。一般单工艺节点建议至少积累几千条以上样本。工艺变更频繁、又没有重新标注的产线模型很快失效。需要物理级精确解释的场景纯数据驱动模型不能替代 DOE 实验和物性分析。2.4 数据与合规边界半导体产线数据通常包含设备配方、工艺参数甚至客户信息使用前必须做脱敏和权限管理。涉及跨公司数据时要确认数据使用范围。油气、创新药领域的迁移应用同理不能把公开模型直接用于关键决策必须结合行业专家规则并做合规审查。3. 环境准备与前置条件这里给出一套通用环境清单不锁死版本以你本机实际可用的版本为准。依赖项推荐方案说明操作系统Windows 10/11、Ubuntu 20.04Linux 更适合生产部署Python3.9 ~ 3.11兼容主流机器学习库包管理pip、conda建议使用虚拟环境机器学习scikit-learn、XGBoost、LightGBM表格数据首选深度学习可选PyTorch需要更大数据量和 GPUAPI 服务FastAPI、uvicorn轻量、自带 Swagger 文档数据处理pandas、numpy必装可视化matplotlib、seaborn特征分析时用显卡驱动NVIDIA Driver CUDA可选深度学习用表格模型 CPU 也可3.1 硬件门槛良率预测这类结构化数据任务大部分情况下不需要高端显卡。如果只是用 XGBoost/LightGBM纯 CPU 就能训练和推理数据量在几万条以内时速度很快。如果改用 PyTorch MLP 或 Transformer 类模型才建议使用 NVIDIA GPU6G 显存以上更稳妥实际占用取决于批次大小和特征维度。3.2 磁盘与端口数据文件、模型文件、日志建议分目录存放预留至少 10GB 磁盘空间。API 服务默认使用 8000 端口如果被占用可以换 8001、9000 等端口。训练过程中会生成中间缓存注意保留工作目录的写权限。4. 安装部署与启动方式我们先搭一个可运行的良率预测 Agent。流程分三步准备环境、训练模型、启动 API 服务。4.1 创建虚拟环境并安装依赖python -m venv yield_agent_env source yield_agent_env/bin/activate # Windows 下执行 yield_agent_env\Scripts\activate pip install --upgrade pip pip install pandas numpy scikit-learn xgboost lightgbm fastapi uvicorn joblib如果使用 GPU 版 PyTorch按官方命令安装对应 CUDA 版本。表格模型不需要这一步也能跑通。4.2 准备数据集示例这里以公开的 SECOM 半导体制造数据集为例实际项目中使用的是产线导出的工艺参数表。数据格式大致如下feature_1feature_2...feature_500pass_fail0.23-0.11...0.05-10.410.02...-0.031将数据文件放在data/raw.csv第一行为列名最后一列是标签1 为良品0 或 -1 为不良品。4.3 训练模型新建train_model.pyimport pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score, accuracy_score import joblib df pd.read_csv(data/raw.csv) X df.drop(columns[pass_fail]) y df[pass_fail].astype(int) # 简单填充缺失值实际场景需要更细致的特征工程 X X.fillna(X.median()) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) model RandomForestClassifier( n_estimators300, max_depth12, min_samples_leaf2, n_jobs-1, random_state42 ) model.fit(X_train, y_train) y_pred_prob model.predict_proba(X_test)[:, 1] y_pred model.predict(X_test) print(AUC:, roc_auc_score(y_test, y_pred_prob)) print(Accuracy:, accuracy_score(y_test, y_pred)) joblib.dump(model, models/yield_model.pkl) print(Model saved to models/yield_model.pkl)运行python train_model.py如果数据特征维度很高可以先用VarianceThreshold和SelectKBest过滤掉低方差、低相关性的特征减少过拟合。4.4 启动 API 服务新建app.pyimport joblib import pandas as pd from fastapi import FastAPI from pydantic import BaseModel, Field from typing import List, Optional import uvicorn app FastAPI(titleSemiconductor Yield Prediction Agent) model joblib.load(models/yield_model.pkl) class PredictRequest(BaseModel): features: List[float] Field(..., description模型需要的全部特征值顺序与训练数据一致) app.get(/health) def health(): return {status: ok} app.post(/predict) def predict(req: PredictRequest): if len(req.features) ! model.n_features_in_: return {error: fexpected {model.n_features_in_} features, got {len(req.features)}} X pd.DataFrame([req.features]) prob model.predict_proba(X)[:, 1][0] label int(model.predict(X)[0]) return { pass_probability: round(float(prob), 4), predicted_label: label, risk_level: high if prob 0.6 else medium } if __name__ __main__: uvicorn.run(app, host127.0.0.1, port8000)启动python app.py看到Application startup complete后用浏览器访问http://127.0.0.1:8000/docs就能打开 Swagger 文档页面。5. 功能测试与效果验证服务启动后用下面几步验证模型是否可用。5.1 健康检查curl http://127.0.0.1:8000/health预期返回{status:ok}。5.2 单条预测从测试集中取一条样本做请求。这里用 Python 请求示例import requests import pandas as pd import json df pd.read_csv(data/raw.csv).fillna(0) sample df.iloc[0, :-1].tolist() resp requests.post( http://127.0.0.1:8000/predict, json{features: sample}, timeout10 ) print(resp.json())预期输出{pass_probability: 0.8745, predicted_label: 1, risk_level: medium}5.3 批量预测批量预测可以直接用 Python 脚本加载 CSV循环调用接口也可以在服务端增加一个批量接口。推荐后者减少网络开销。在app.py中增加class BatchPredictRequest(BaseModel): batch: List[List[float]] app.post(/predict_batch) def predict_batch(req: BatchPredictRequest): X pd.DataFrame(req.batch) probs model.predict_proba(X)[:, 1] labels model.predict(X) return { pass_probabilities: [round(p, 4) for p in probs.tolist()], predicted_labels: [int(l) for l in labels.tolist()] }批量请求示例batch_payload { batch: [ df.iloc[0, :-1].tolist(), df.iloc[1, :-1].tolist() ] } resp requests.post(http://127.0.0.1:8000/predict_batch, jsonbatch_payload) print(resp.json())5.4 测试用例设计测试项输入预期结果失败排查方向健康检查GET /healthstatus ok服务未启动、端口被占用单条预测特征数量正确返回概率和标签特征顺序不一致、特征数量错误批量预测多条特征列表返回与输入长度相同的数组数据形状不对、内存不足异常输入特征数量不对返回 error 提示请求体字段名错误、类型错误边界数值全 0 或极大值返回结果但不报错模型输入校验、特征缩放缺失5.5 判断模型是否合格AUC 大于 0.75 时模型有一定区分能力。Accuracy 不用过分关注因为半导体数据经常正负样本不均衡要看 Precision、Recall、F1。如果 AUC 接近 0.5说明特征与良率没有线性关系需要做特征工程或换模型。重点关注pass_probability的分布。如果大部分样本集中在 0.5 附近模型置信度不足需要更多数据或更有效的特征。6. 接口 API 与批量任务6.1 接口说明接口方法功能/healthGET健康检查/predictPOST单条预测/predict_batchPOST批量预测/docsGETSwagger 交互式文档6.2 使用 curl 调单条接口curl -X POST http://127.0.0.1:8000/predict \ -H Content-Type: application/json \ -d {features: [0.23, -0.11, 0.05, 0.41, 0.02]}注意特征数量要和训练时一致这里只是示例。6.3 批量任务工程化产线中不能每次批量预测都手动调接口建议做一个定时任务脚本import pandas as pd import requests import time def batch_predict_from_csv(input_path, output_path, api_urlhttp://127.0.0.1:8000/predict_batch): df pd.read_csv(input_path) features df.values.tolist() resp requests.post(api_url, json{batch: features}, timeout120) resp.raise_for_status() result resp.json() df[pass_probability] result[pass_probabilities] df[predicted_label] result[predicted_labels] df.to_csv(output_path, indexFalse) print(fDone, processed {len(df)} rows) if __name__ __main__: batch_predict_from_csv(data/to_predict.csv, output/predict_result.csv)批量任务建议做好以下工程处理每次请求的批量大小控制在 200~500 条避免服务超时。增加失败重试如遇网络抖动指数退避重试 3 次。输出目录按日期管理保留原始输入和预测结果。预测结果要记录模型版本号方便追溯。7. 资源占用与性能观察7.1 显存与内存观察方法如果使用 XGBoost/RandomForest训练和推理几乎不占显存主要看 CPU 和内存。如果使用 PyTorch 模型用nvidia-smi查看显存占用。watch -n 1 nvidia-smi推理时单条预测的显存占用很低批量预测时随着 batch size 增加显存占用线性上升。内存占用主要受数据量和特征维度影响。可以通过free -h或任务管理器观察。7.2 影响性能的因素因素影响优化方向特征数量特征越多训练越慢容易过拟合特征选择、PCA样本数量样本越多训练时间越长使用 LightGBM支持直方图加速批量大小批量越大单次推理越快但内存占用增加控制在合理区间模型复杂度树模型深度、神经网络层数影响计算量先小规模测试再逐步增加线程数n_jobs 设为 -1 会消耗全部 CPU 核生产环境根据部署规格限制线程数7.3 降低资源占用的方法表格模型优先用 LightGBM速度快内存占用小。如果使用神经网络减少特征维度、降低 batch size、使用混合精度训练。模型推理前对特征做标准化并保存 scaler 对象避免每次推理重复计算。如果模型文件过大可以压缩或转为 ONNX 模型加速 CPU 推理。8. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动查看终端日志检查端口占用更换端口或重启服务训练报错找不到文件路径不对或数据文件名错误检查当前目录下的文件列表使用绝对路径统一目录结构特征数量不一致训练和推理时列顺序不同打印模型 n_features_in_ 和输入特征长度保存特征列名列表推理时按相同顺序读取模型全预测一类数据不平衡或特征无区分度查看标签分布、特征相关性使用 class_weight、SMOTE 过采样、添加新特征AUC 很低特征工程不足或模型太简单查看特征重要性尝试不同模型增加特征、模型调参、使用集成模型API 请求超时批量数据太大或模型推理慢查看日志和请求耗时减小批量大小启用异步处理显存不够神经网络批量过大nvidia-smi 查看显存占用调低 batch size使用 CPU 训练部署到服务器后无法访问防火墙或绑定地址问题检查监听地址和防火墙规则需要外部访问时绑定 0.0.0.0并确认安全策略9. 最佳实践与使用建议9.1 先小参数跑通全流程第一次训练时不要急着上全量数据。先抽 1000 行数据、用默认参数跑通训练和 API 调用确认流程无问题后再逐步增加数据量和调参。这能大幅降低排查难度。9.2 保存一份最小可运行配置将以下内容提交到代码库requirements.txttrain_model.pyapp.pydata/raw.csv脱敏后的样例config.yaml建议config.yaml长这样data: path: data/raw.csv label_column: pass_fail test_size: 0.2 model: name: RandomForest n_estimators: 300 max_depth: 12 random_state: 42 service: host: 127.0.0.1 port: 80009.3 数据管理原始数据和特征工程后的数据分目录存放。每次模型训练前记录数据版本、特征版本、代码版本。预测输出必须保留原始输入和模型版本便于追溯归因。9.4 接口服务安全默认只绑定127.0.0.1如果部署在服务器上不要直接暴露公网。增加认证机制例如 API Key 或 Token。对输入特征长度做校验防止异常请求拖垮服务。9.5 跨行业迁移思路油气行业的设备故障预测、创新药领域的分子活性预测和半导体良率预测本质相同油气传感器时序数据 → 特征工程 → 预测设备剩余寿命。创新药分子描述符或指纹 → 特征矩阵 → 预测活性/毒性。这三类任务的差异在于特征语义不同但数据管道、模型训练、API 封装这层技术架构完全一致。掌握半导体良率预测 Agent 的完整流程后迁移到其他 Tabular AI 场景只是换数据和特征工程的事。10. 总结与下一步这个“半导体良率预测 Agent”最值得试的点不是模型多复杂而是把数据、模型、API、批量任务串成了一个最小闭环。你先跑通这个闭环后续所有 Tabular 预测类需求都能复用同一套骨架。建议你按顺序做三件事用公开数据集或产线脱敏数据训练一个基线模型把训练脚本跑通。启动 FastAPI 服务用/predict和/predict_batch验证接口。把批量预测脚本接入定时任务实现“每天自动预测当天批次并输出报表”。最容易踩的坑有两个一是特征顺序不一致导致预测结果完全错误二是数据不平衡时只看准确率误以为模型效果好。解决方法是保存特征列名、用 AUC 和 F1 评估。后续可以扩展的方向很多把随机森林换成 LightGBM 或深度模型接入实时数据流进行在线预测把结果推送到企业微信/钉钉告警结合 SHAP 输出可解释的工艺参数归因帮助工程师定位异常腔室。这才是半导体 AI Agent 从“能跑”到“好用”的关键一步。 半导体良率预测AI Agent：从数据管道到API部署的工程实践
这次我们直接聊一个能放在半导体产线上落地的 AI Agent良率预测。标题里那串“油气、半导体、创新药、乱七八糟、兵行如水”看起来像随手堆的标签但真正有价值的技术锚点只有一个——半导体。油气行业要做设备故障预测创新药要做分子活性筛选本质都离不开同一套“数据采集 → 特征工程 → 模型训练 → API 服务”的 AI 工作流。本文就把这套工作流拆开以半导体良率预测为例给你一条可以从零跑通的实践路径。先说结论良率预测不是只有大厂才能做的算法竞赛而是一个普通 GPU 甚至纯 CPU 都能跑起来的工程项目。它不是一个固定软件而是一套可组合的技术栈。你要准备的无非是结构化工艺数据、合适的监督学习模型以及一个能对外提供预测服务的接口。下面我会从核心能力、环境准备、模型训练、API 部署、批量预测、性能优化、排错清单这几个角度一次性讲清楚。1. 核心能力速览能力项说明项目类型半导体制造良率预测 AI Agent模型 数据管道 API 服务核心功能根据工艺参数和量测数据预测晶圆/批次良率输出风险概率与分档结果输入数据结构化表格数据如设备参数、温湿度、压力、化学试剂浓度、量测特征等输出结果良率预测值、Pass/Fail 分类、特征重要性排序、异常预警支持批量任务支持 CSV/DataFrame 批量预测可接入产线定时任务接口 API可使用 FastAPI/Flask 封装 REST API供 MES/SCADA 系统调用显存需求大部分表格模型 CPU 可跑深度学习模型建议 6G 以上显存以实际数据量测试为准启动方式Python 脚本训练 FastAPI 服务启动适合场景半导体 Fab 良率分析、设备预测性维护、工艺参数优化、跨行业迁移到油气/创新药等 AI 预测任务这个 Agent 解决的核心问题是在晶圆制造过程中影响良率的变量有几百个靠人工看趋势很难提前发现异常。把历史数据交给模型学习就能在批次下线前给出风险提示帮助工程师优先处理异常批次。2. 适用场景与使用边界2.1 适合谁用最适合三类人半导体工艺工程师想用 AI 辅助分析良率但又不熟悉完整的数据建模流程。MES/智能制造开发人员需要把预测模型封装成 API嵌入现有产线系统。AI 应用开发者想找一个有业务价值的 Tabular 数据落地项目并希望迁移到油气、医药等行业。2.2 能解决什么问题在晶圆批次完成测试前提前预测良率区间识别高风险批次。输出工艺参数的特征重要性辅助工程师定位可能的影响因子。对设备腔室状态进行持续监控发现潜在 drift。为生产排产提供参考避免把资源浪费在注定低良率的批次上。2.3 不适合什么场景没有足够历史数据时强行训练只会得到不可靠结果。一般单工艺节点建议至少积累几千条以上样本。工艺变更频繁、又没有重新标注的产线模型很快失效。需要物理级精确解释的场景纯数据驱动模型不能替代 DOE 实验和物性分析。2.4 数据与合规边界半导体产线数据通常包含设备配方、工艺参数甚至客户信息使用前必须做脱敏和权限管理。涉及跨公司数据时要确认数据使用范围。油气、创新药领域的迁移应用同理不能把公开模型直接用于关键决策必须结合行业专家规则并做合规审查。3. 环境准备与前置条件这里给出一套通用环境清单不锁死版本以你本机实际可用的版本为准。依赖项推荐方案说明操作系统Windows 10/11、Ubuntu 20.04Linux 更适合生产部署Python3.9 ~ 3.11兼容主流机器学习库包管理pip、conda建议使用虚拟环境机器学习scikit-learn、XGBoost、LightGBM表格数据首选深度学习可选PyTorch需要更大数据量和 GPUAPI 服务FastAPI、uvicorn轻量、自带 Swagger 文档数据处理pandas、numpy必装可视化matplotlib、seaborn特征分析时用显卡驱动NVIDIA Driver CUDA可选深度学习用表格模型 CPU 也可3.1 硬件门槛良率预测这类结构化数据任务大部分情况下不需要高端显卡。如果只是用 XGBoost/LightGBM纯 CPU 就能训练和推理数据量在几万条以内时速度很快。如果改用 PyTorch MLP 或 Transformer 类模型才建议使用 NVIDIA GPU6G 显存以上更稳妥实际占用取决于批次大小和特征维度。3.2 磁盘与端口数据文件、模型文件、日志建议分目录存放预留至少 10GB 磁盘空间。API 服务默认使用 8000 端口如果被占用可以换 8001、9000 等端口。训练过程中会生成中间缓存注意保留工作目录的写权限。4. 安装部署与启动方式我们先搭一个可运行的良率预测 Agent。流程分三步准备环境、训练模型、启动 API 服务。4.1 创建虚拟环境并安装依赖python -m venv yield_agent_env source yield_agent_env/bin/activate # Windows 下执行 yield_agent_env\Scripts\activate pip install --upgrade pip pip install pandas numpy scikit-learn xgboost lightgbm fastapi uvicorn joblib如果使用 GPU 版 PyTorch按官方命令安装对应 CUDA 版本。表格模型不需要这一步也能跑通。4.2 准备数据集示例这里以公开的 SECOM 半导体制造数据集为例实际项目中使用的是产线导出的工艺参数表。数据格式大致如下feature_1feature_2...feature_500pass_fail0.23-0.11...0.05-10.410.02...-0.031将数据文件放在data/raw.csv第一行为列名最后一列是标签1 为良品0 或 -1 为不良品。4.3 训练模型新建train_model.pyimport pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import roc_auc_score, accuracy_score import joblib df pd.read_csv(data/raw.csv) X df.drop(columns[pass_fail]) y df[pass_fail].astype(int) # 简单填充缺失值实际场景需要更细致的特征工程 X X.fillna(X.median()) X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) model RandomForestClassifier( n_estimators300, max_depth12, min_samples_leaf2, n_jobs-1, random_state42 ) model.fit(X_train, y_train) y_pred_prob model.predict_proba(X_test)[:, 1] y_pred model.predict(X_test) print(AUC:, roc_auc_score(y_test, y_pred_prob)) print(Accuracy:, accuracy_score(y_test, y_pred)) joblib.dump(model, models/yield_model.pkl) print(Model saved to models/yield_model.pkl)运行python train_model.py如果数据特征维度很高可以先用VarianceThreshold和SelectKBest过滤掉低方差、低相关性的特征减少过拟合。4.4 启动 API 服务新建app.pyimport joblib import pandas as pd from fastapi import FastAPI from pydantic import BaseModel, Field from typing import List, Optional import uvicorn app FastAPI(titleSemiconductor Yield Prediction Agent) model joblib.load(models/yield_model.pkl) class PredictRequest(BaseModel): features: List[float] Field(..., description模型需要的全部特征值顺序与训练数据一致) app.get(/health) def health(): return {status: ok} app.post(/predict) def predict(req: PredictRequest): if len(req.features) ! model.n_features_in_: return {error: fexpected {model.n_features_in_} features, got {len(req.features)}} X pd.DataFrame([req.features]) prob model.predict_proba(X)[:, 1][0] label int(model.predict(X)[0]) return { pass_probability: round(float(prob), 4), predicted_label: label, risk_level: high if prob 0.6 else medium } if __name__ __main__: uvicorn.run(app, host127.0.0.1, port8000)启动python app.py看到Application startup complete后用浏览器访问http://127.0.0.1:8000/docs就能打开 Swagger 文档页面。5. 功能测试与效果验证服务启动后用下面几步验证模型是否可用。5.1 健康检查curl http://127.0.0.1:8000/health预期返回{status:ok}。5.2 单条预测从测试集中取一条样本做请求。这里用 Python 请求示例import requests import pandas as pd import json df pd.read_csv(data/raw.csv).fillna(0) sample df.iloc[0, :-1].tolist() resp requests.post( http://127.0.0.1:8000/predict, json{features: sample}, timeout10 ) print(resp.json())预期输出{pass_probability: 0.8745, predicted_label: 1, risk_level: medium}5.3 批量预测批量预测可以直接用 Python 脚本加载 CSV循环调用接口也可以在服务端增加一个批量接口。推荐后者减少网络开销。在app.py中增加class BatchPredictRequest(BaseModel): batch: List[List[float]] app.post(/predict_batch) def predict_batch(req: BatchPredictRequest): X pd.DataFrame(req.batch) probs model.predict_proba(X)[:, 1] labels model.predict(X) return { pass_probabilities: [round(p, 4) for p in probs.tolist()], predicted_labels: [int(l) for l in labels.tolist()] }批量请求示例batch_payload { batch: [ df.iloc[0, :-1].tolist(), df.iloc[1, :-1].tolist() ] } resp requests.post(http://127.0.0.1:8000/predict_batch, jsonbatch_payload) print(resp.json())5.4 测试用例设计测试项输入预期结果失败排查方向健康检查GET /healthstatus ok服务未启动、端口被占用单条预测特征数量正确返回概率和标签特征顺序不一致、特征数量错误批量预测多条特征列表返回与输入长度相同的数组数据形状不对、内存不足异常输入特征数量不对返回 error 提示请求体字段名错误、类型错误边界数值全 0 或极大值返回结果但不报错模型输入校验、特征缩放缺失5.5 判断模型是否合格AUC 大于 0.75 时模型有一定区分能力。Accuracy 不用过分关注因为半导体数据经常正负样本不均衡要看 Precision、Recall、F1。如果 AUC 接近 0.5说明特征与良率没有线性关系需要做特征工程或换模型。重点关注pass_probability的分布。如果大部分样本集中在 0.5 附近模型置信度不足需要更多数据或更有效的特征。6. 接口 API 与批量任务6.1 接口说明接口方法功能/healthGET健康检查/predictPOST单条预测/predict_batchPOST批量预测/docsGETSwagger 交互式文档6.2 使用 curl 调单条接口curl -X POST http://127.0.0.1:8000/predict \ -H Content-Type: application/json \ -d {features: [0.23, -0.11, 0.05, 0.41, 0.02]}注意特征数量要和训练时一致这里只是示例。6.3 批量任务工程化产线中不能每次批量预测都手动调接口建议做一个定时任务脚本import pandas as pd import requests import time def batch_predict_from_csv(input_path, output_path, api_urlhttp://127.0.0.1:8000/predict_batch): df pd.read_csv(input_path) features df.values.tolist() resp requests.post(api_url, json{batch: features}, timeout120) resp.raise_for_status() result resp.json() df[pass_probability] result[pass_probabilities] df[predicted_label] result[predicted_labels] df.to_csv(output_path, indexFalse) print(fDone, processed {len(df)} rows) if __name__ __main__: batch_predict_from_csv(data/to_predict.csv, output/predict_result.csv)批量任务建议做好以下工程处理每次请求的批量大小控制在 200~500 条避免服务超时。增加失败重试如遇网络抖动指数退避重试 3 次。输出目录按日期管理保留原始输入和预测结果。预测结果要记录模型版本号方便追溯。7. 资源占用与性能观察7.1 显存与内存观察方法如果使用 XGBoost/RandomForest训练和推理几乎不占显存主要看 CPU 和内存。如果使用 PyTorch 模型用nvidia-smi查看显存占用。watch -n 1 nvidia-smi推理时单条预测的显存占用很低批量预测时随着 batch size 增加显存占用线性上升。内存占用主要受数据量和特征维度影响。可以通过free -h或任务管理器观察。7.2 影响性能的因素因素影响优化方向特征数量特征越多训练越慢容易过拟合特征选择、PCA样本数量样本越多训练时间越长使用 LightGBM支持直方图加速批量大小批量越大单次推理越快但内存占用增加控制在合理区间模型复杂度树模型深度、神经网络层数影响计算量先小规模测试再逐步增加线程数n_jobs 设为 -1 会消耗全部 CPU 核生产环境根据部署规格限制线程数7.3 降低资源占用的方法表格模型优先用 LightGBM速度快内存占用小。如果使用神经网络减少特征维度、降低 batch size、使用混合精度训练。模型推理前对特征做标准化并保存 scaler 对象避免每次推理重复计算。如果模型文件过大可以压缩或转为 ONNX 模型加速 CPU 推理。8. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动查看终端日志检查端口占用更换端口或重启服务训练报错找不到文件路径不对或数据文件名错误检查当前目录下的文件列表使用绝对路径统一目录结构特征数量不一致训练和推理时列顺序不同打印模型 n_features_in_ 和输入特征长度保存特征列名列表推理时按相同顺序读取模型全预测一类数据不平衡或特征无区分度查看标签分布、特征相关性使用 class_weight、SMOTE 过采样、添加新特征AUC 很低特征工程不足或模型太简单查看特征重要性尝试不同模型增加特征、模型调参、使用集成模型API 请求超时批量数据太大或模型推理慢查看日志和请求耗时减小批量大小启用异步处理显存不够神经网络批量过大nvidia-smi 查看显存占用调低 batch size使用 CPU 训练部署到服务器后无法访问防火墙或绑定地址问题检查监听地址和防火墙规则需要外部访问时绑定 0.0.0.0并确认安全策略9. 最佳实践与使用建议9.1 先小参数跑通全流程第一次训练时不要急着上全量数据。先抽 1000 行数据、用默认参数跑通训练和 API 调用确认流程无问题后再逐步增加数据量和调参。这能大幅降低排查难度。9.2 保存一份最小可运行配置将以下内容提交到代码库requirements.txttrain_model.pyapp.pydata/raw.csv脱敏后的样例config.yaml建议config.yaml长这样data: path: data/raw.csv label_column: pass_fail test_size: 0.2 model: name: RandomForest n_estimators: 300 max_depth: 12 random_state: 42 service: host: 127.0.0.1 port: 80009.3 数据管理原始数据和特征工程后的数据分目录存放。每次模型训练前记录数据版本、特征版本、代码版本。预测输出必须保留原始输入和模型版本便于追溯归因。9.4 接口服务安全默认只绑定127.0.0.1如果部署在服务器上不要直接暴露公网。增加认证机制例如 API Key 或 Token。对输入特征长度做校验防止异常请求拖垮服务。9.5 跨行业迁移思路油气行业的设备故障预测、创新药领域的分子活性预测和半导体良率预测本质相同油气传感器时序数据 → 特征工程 → 预测设备剩余寿命。创新药分子描述符或指纹 → 特征矩阵 → 预测活性/毒性。这三类任务的差异在于特征语义不同但数据管道、模型训练、API 封装这层技术架构完全一致。掌握半导体良率预测 Agent 的完整流程后迁移到其他 Tabular AI 场景只是换数据和特征工程的事。10. 总结与下一步这个“半导体良率预测 Agent”最值得试的点不是模型多复杂而是把数据、模型、API、批量任务串成了一个最小闭环。你先跑通这个闭环后续所有 Tabular 预测类需求都能复用同一套骨架。建议你按顺序做三件事用公开数据集或产线脱敏数据训练一个基线模型把训练脚本跑通。启动 FastAPI 服务用/predict和/predict_batch验证接口。把批量预测脚本接入定时任务实现“每天自动预测当天批次并输出报表”。最容易踩的坑有两个一是特征顺序不一致导致预测结果完全错误二是数据不平衡时只看准确率误以为模型效果好。解决方法是保存特征列名、用 AUC 和 F1 评估。后续可以扩展的方向很多把随机森林换成 LightGBM 或深度模型接入实时数据流进行在线预测把结果推送到企业微信/钉钉告警结合 SHAP 输出可解释的工艺参数归因帮助工程师定位异常腔室。这才是半导体 AI Agent 从“能跑”到“好用”的关键一步。