这个项目标题把 Post-Training QuantizationPTQ和 Financial Time-Series Forecasting 放到一起核心并不是在讲某个新模型而是在提醒所有做模型量化的人校准Calibration这一步本质上是一场对过去数据的赌注。做金融时序预测的量化部署很多人第一反应是“用PTQ把模型压到INT8延迟就已经降下来了”但真正跑完一圈会发现量化本身不难难的是校准数据怎么选、量化误差怎么评估、模型在下一个市场状态下会不会突然失准。下面按实操顺序拆一遍为什么要做PTQ、校准环节的坑在哪里、单条样例到批量预测怎么落地、最终怎么评估量化结果。适合正在做模型部署、预测系统优化或者调查量化误差的工程师。1. 先理解标题PTQ校准为什么是“对过去下注”1.1 PTQ是什么和QAT有什么差别PTQPost-Training Quantization指的是模型训练完成之后利用少量校准数据确定量化参数把权重和激活从浮点数转换成低比特表示。整个过程不再更新网络权重因此成本很低不需要准备训练标签不需要重跑完整训练流程。和它对应的是 QATQuantization-Aware Training后者在训练过程中向前向后传播时模拟量化误差让模型自己去适应低比特数值范围。QAT 的精度通常更稳但工程成本高要保存训练数据要重跑训练流程还要额外调参。PTQ 的优势在于“可以随时插入”只要模型结构已经冻结有一批能代表线上分布的样本就可以完成量化。在金融时序预测场景里我通常先考虑 PTQ原因很简单时序模型的训练依赖时间顺序重新训练一次很贵而且金融数据分布不稳定量化感知训练如果校准窗口没选好反而会把模型训练到过拟合某个波动率状态。1.2 金融时间序列预测模型里哪些算子适合量化常见的金融时序模型包括 LSTM、GRU、TCN、Transformer 和各类融合结构。它们的主体计算集中在全连接层、卷积层、注意力矩阵乘法和嵌入层。这些算子对量化相对友好是 PTQ 的主要对象。真正需要小心的是 LayerNorm、GELU、Softmax 这类对数值灵敏度很高的计算。金融特征中常见的有收益率、波动率、成交量、价差等数值分布往往不是均匀的尖峰厚尾非常明显。校准数据里只要混入一个极端事件比如某个交易日的异常涨跌量化范围就可能被拉得很大。结果是正常区间的数据量化步长变粗精度反而下降。所以在做 PTQ 之前我会先跑一遍激活分布统计看每一层的数值范围是稳定的还是偶发出现过大的离群点。如果有离群点要么在预处理阶段做截断要么使用更科学的百分位校准方法而不是直接用 min/max。1.3 “校准赌注”到底赌了什么校准是 PTQ 的核心步骤。模型通过前向传播一系列校准样本收集每层激活的数值分布再据此计算 scale 和 zero_point。这些量化参数一旦确定推理阶段就会固定下来。问题在于校准数据永远来自过去。哪怕你取的是最近一个交易日的数据它仍然是一个样本切片不可能完整覆盖未来会出现的状态。金融时间序列又天然不具备平稳性波动率会聚集相关性会变化突发事件会在几分钟内改变特征分布。于是校准这一步就变成了一种“赌注”——你赌未来数据的取值范围和分布形状和校准集足够接近。这个标题里“Calibration Bets on the Past”要表达的核心就是这种风险。PTQ 本身没有错错的是默认校准集一定代表未来。理解这一点之后整个落地流程的设计逻辑就变了不是“选一段数据做校准完事”而是“把校准当成一个实验反复验证它对不同时间窗口的适用性”。2. 金融时序模型做PTQ前先确认这三个前提2.1 模型已经收敛导出结构稳定尽量先冻结模型再量化。如果模型结构还在调整或者训练流程还没完全结束任何一层权重的变化都会导致激活分布变化之前的量化参数必须重算。我自己的习惯是要么把模型导出成 ONNX 或 TorchScript 这种静态结构再跑 PTQ要么在 PyTorch 里直接冻结模型并记录一份浮点基线输出。没有浮点基线后面所有量化结果都比较不出好坏。另外不要忽略模型里 BatchNorm 的统计量。金融时序模型如果使用 BatchNorm在训练后要确认模型处于 eval 模式让 BatchNorm 使用运行均值而不是当前 batch 的均值。否则校准阶段统计出来的激活范围会与实际推理不一致。2.2 校准数据集的“过去”要尽量贴近部署时的“未来”校准集选择是 PTQ 效果的最大变量。这里的“贴近未来”不是指预测未来数据而是指时间窗口、市场状态、特征分布要接近实际部署环境。比如你的模型用于下一个交易日的收益率预测校准集就不应该随机抽取历史样本而应该按时间顺序取最近一段数据。更稳一点的做法是分层覆盖多种行情。假设当前是低波动状态但未来三个月可能进入高波动期那校准集只取最近 20 天就不够稳。建议在最近半年里选几个波动率区间各取一部分样本组合成校准集。同样重要的是不要把预测目标对应的未来信息混进校准集否则量化参数会“偷看未来”。下面给一个校准集选择的参照思路校准策略数据范围优点风险最近时间段最近 20~60 个交易日贴近当前状态可能只有一种行情多窗口混合近半年按波动率分段覆盖更多分布可能引入过期状态随机抽样所有历史随机抽实现简单可能混入未来信息分布偏差大我更推荐“多窗口混合”但前提是要明确每个窗口对应的市场状态并定期更新。随机抽样在普通机器学习任务里问题不大但在金融时序里很容易造成量化参数偏离线上数据。2.3 量化粒度要看数值范围不能一刀切量化时经常遇到两个选择per-tensor 还是 per-channel以及动态量化还是静态量化。per-tensor 对整个张量算一组 scale简单但容易被离群点影响per-channel 对每个通道单独计算精度更好但推理时可能增加开销。金融模型里不同通道/特征的含义可能完全不同。例如收益率和成交量一个取值在 0.01 量级一个可能是上万。如果整层合在一起量化小数值特征很容易被大数值特征淹没。遇到这种情况至少要按 per-channel 量化或者对输入特征做标准化后再量化。处理离群点有几个常见做法一是对输入特征做鲁棒标准化用中位数和 IQR 而不是均值和标准差二是在校准统计时不用 min/max而是用百分位比如 0.1% 和 99.9% 分位数三是先截断极端值再量化。要注意截断也会改变特征分布需要在离线回测中确认截断不会影响模型效果。另一个建议是在试过 INT8 全量化之前先试只对权重做动态量化。动态量化不需要校准激活分布实现简单在 CPU 上也能看到明显收益。量化方式校准数据要求适合场景主要风险FP16基本不需要仅降低存储和带宽精度损失最小但有些算子加速不明显权重量化动态不需要激活统计CPU 部署、快速验证激活仍是浮点延迟收益有限激活量化静态需要校准集需要最大加速校准集分布如果偏移误差容易放大3. 实操流程从单条样例到批量预测的PTQ步骤3.1 环境准备先建立浮点基线第一步不是量化而是记录浮点模型的运行状态。包括模型输入输出的形状和 dtype。单条推理耗时。Batch 推理吞吐。浮点模型的误差指标。模型权重和中间激活的数值分布。这些信息决定了量化后到底算不算成功。我一般会写一个小脚本固定输入和随机种子分别保存浮点和量化后的输出方便后续对比。需要确认几个环境细节模型格式是原生 PyTorch 还是 ONNX目标推理平台是 CPU、GPU 还是边缘设备量化工具链是 PyTorch 自带还是 ONNX Runtime、TensorRT或推理平台自带的 SDK。不同工具链对算子的支持程度不一样经常出现“浮点模型能跑量化模型某个算子不支持”的情况。3.2 最小示例对一个时序模型做动态量化下面用一个 PyTorch 风格的流程说明动态量化怎么跑通。注意不同版本 API 可能不同代码是示例不是可以直接照搬的“官方注释”。import torch # 假设 model 是一个已经训练好的时序模型 model.eval() # 保存浮点基线 with torch.no_grad(): baseline_out model(baseline_x) # 动态量化只量化线性层从 float32 转 int8 quantized_model torch.ao.quantization.quantize_dynamic( model, {torch.nn.Linear}, # 可选的量化模块集合 dtypetorch.qint8 ) # 使用相同输入验证 with torch.no_grad(): quantized_out quantized_model(baseline_x) # 对比输出 print(torch.max(torch.abs(baseline_out - quantized_out)))动态量化的好处是不需要准备校准集因为激活范围在前向时动态统计。缺点是对激活的压缩不明显CPU 上性能提升主要来自权重计算部分。如果目标是端侧设备通常需要继续做静态量化。3.3 静态量化校准循环和Observer配置静态量化的关键在“校准循环”。模型会先插入 Observer 节点然后跑若干 batch 校准样本这些样本只做前向不反传梯度。Observer 收集每一层激活的统计值最终根据统计值决定量化区间。# 伪代码示例用于说明流程 model.eval() model.qconfig torch.ao.quantization.get_default_qconfig(fbgemm) # 插入 Observer不直接量化 prepared_model torch.ao.quantization.prepare(model) # 校准循环 with torch.no_grad(): for x in calibration_loader: prepared_model(x) # 转换为量化模型 quantized_model torch.ao.quantization.convert(prepared_model)校准样本的数量不要过多也不要过少。过少会导致统计到的是某个局部分布通常会偏乐观过多则会拖慢校准时间还可能引入过时的极端状态。我常用的思路是取 200~500 个序列切片尽量覆盖近半年的不同波动区间。校准 batch size 不建议拉满先试 8 或 16观察激活统计是否稳定。3.4 单条预测、批量预测和流式更新量化模型部署时要区分场景。单条预测意味着每次输入一个最新观测值模型输出预测结果。时序模型通常要维护隐藏状态单条推理的延迟是关键指标。量化后权重从 INT8 加载但某些算子可能仍然使用浮点乘加所以单条延迟未必一定下降要先测清楚。批量预测可以同时输入多条历史序列充分利用矩阵计算的并行能力吞吐量往往提升明显。如果业务是离线批量生成信号量化收益会更高。以一个日频调仓的信号系统为例。模型每天收盘后接收最新一批特征输出第二天的预测值。这种场景下推理延迟通常不是瓶颈量化更多是为了降低模型体积和推理成本。但如果是高频信号系统每秒要处理多次输入那么量化后的单条推理延迟直接决定了系统能不能在固定时间窗口内跑完所有信号。实测时我一般会分别统计单条延迟、批量吞吐和端到端延迟。单条延迟看每次预测的 p50/p95批量吞吐看每秒能处理多少条序列端到端延迟还要算上数据预处理、特征标准化和输出后处理的耗时。量化经常只优化了模型计算部分输入预处理如果还是浮点并且很重整体延迟收益会打折扣。流式更新是日内高频场景的常见需求。新数据不断到来模型每次要用新观测更新状态旧校准参数可能很快失效。如果是这种场景建议把校准集做成滚动窗口每隔一段时间重新生成一次量化模型。不要指望一次 PTQ 永久有效。3.5 输出检查先看形状再看数值最后看指标量化完成后第一件事不是算精度而是跑一个相同的输入检查输出形状、dtype、是否含 NaN。金融数据中一旦出现极端值量化后可能溢出到异常区间。接着比较量化前后的输出差。这里的“差”要结合业务看如果预测值范围是 0%~2%绝对误差 0.001% 可能是可接受的如果预测值范围本身就是 0.0001 量级任何量化误差都可能很大。最后才是指标对比。用验证集、测试集分别计算 MSE、分位数损失、方向准确率等。要记录每个阶段用的是哪个校准集、哪个时间窗口方便后面回看。4. 评估量化效果别只看精度还要看波动和分布外表现4.1 指标选择MSE、分位数损失和方向准确率不同的预测目标对应不同指标。表格如下指标说明量化时重点关注什么MSE / MAE预测值与真实值的绝对差距整体误差是否放大放大多少Quantile Loss分位数回归常用预测区间是否还覆盖真实分布Direction Accuracy预测方向是否正确量化后方向是否经常反转Max Error最大单点误差是否出现极端错误离群点是否被量化放大我通常把 MSE 和 Max Error 一起看。MSE 平稳但 Max Error 变大说明量化误差集中在少数异常点位如果这种极端误差恰好出现在市场大幅波动时模型实际部署风险很高。分位数损失在金融时序预测里尤其值得关注。很多模型的输出不是单一数值而是预测区间或分位数比如 5% 分位、90% 分位。量化后如果低位分位数和高位分位数被压得过于接近预测区间就失去了参考意义。这时候需要单独检查每个分位数输出在量化前后的偏差。4.2 分时段对比不要只用一个测试集时间序列预测最忌讳单段测试集。建议把测试集按波动率分成三档低波动、中波动、高波动。分别计算量化前后的误差。假设你的模型预测未来 5 日收益。测试集是 2022 年到 2024 年如果只看整体 MSE量化前后可能只差 0.0002觉得没问题。但把测试集按波动率分组后高波动区间可能只有几十个样本量化模型的 MSE 从 0.001 放大到 0.01。这个差异在整体平均里容易被淹没。所以分时段对比时建议同时输出样本量和误差变化不能只看一个平均值。更细一点可以把高波动区间再按“波动率快速上升”和“波动率高位持续”拆分。前者往往伴随极端离群值量化误差更容易暴露。分时段对比的价值不是评判模型好坏而是定位量化误差到底出现在哪类分布上。4.3 分布外测试换一个时间段重新校准更严格的量化鲁棒性测试是分布外校准实验。具体做法是用时间窗口 A 的数据做校准在时间窗口 B 上测试再反过来用 B 校准在 A 上测试。对比两次结果看量化误差是否对校准窗口敏感。如果 A-B 和 B-A 差异巨大说明模型量化的稳定性差不是简单增加校准样本能解决的。这时候需要检查输入预处理是否存在趋势项也说明这种场景可能已经超出了 PTQ 的适用边界。分布外测试不用选择特别极端的市场危机只需要选两段特征分布有明显差异的时期。比如一段低波动、一段高波动就已经能暴露校准集代表性不足的问题。重点不是你预测得准不准而是量化后的性能相对浮点模型有没有明显恶化。4.4 常见问题排查顺序当量化模型精度下降时按这个顺序排查大部分问题不用去改模型结构先确认输出有没有 NaN、Inf或者形状错误。再检查校准集是否随机抽样、是否把未来信息混了进去。再看模型是否处于 eval 模式BatchNorm 是否正确。然后检查自定义算子是否被量化LayerNorm、Softmax 是否被错误处理。最后对比浮点基线在不同时间窗口上的表现区分是量化问题还是模型本身问题。这里最容易忽略的是第 2 步。很多团队在量化时报错或精度下降第一反应是调量化参数实际上校准集已经混入了数据泄露。金融时序数据一旦按时间顺序切分就要保证校准集不包含测试集对应的未来时间点。否则量化参数看着很好线上效果却会明显变差。5. 经验与边界哪些场景适合PTQ哪些场景要换方案5.1 适合PTQ的金融预测场景PTQ 最适合的场景是模型参数较多、推理吞吐需要优化、校准数据能覆盖常见行情状态。尤其在 CPU 部署环境下把线性层和注意力层的权重量化到 INT8能明显降低内存占用和计算耗时。如果业务是短周期预测比如日内价格走势、短期波动率预测特征分布相对连续PTQ 的稳定性会好一些。因为这些预测任务的输入通常经过标准化量化范围可控校准数据也容易滚动更新。5.2 不适合PTQ的场景低频、长周期预测比如月度宏观变量预测样本数量少周期跨度大校准集很难代表未来。模型输出又往往需要精确的小数位量化步长可能已经超过业务容忍范围。这时候硬上 INT8 会得不偿失。另一个雷区是自定义算子过多的模型。PTQ 工具链对常见算子支持不错但遇到自定义 attention、自定义损失或者特殊激活函数可能会直接报错或者回退到浮点计算。看起来量化了实际上关键部分还在用浮点性能提升有限。如果你发现全量 INT8 误差不可接受可以尝试混合精度只对数值分布稳定的层做 INT8对 LayerNorm 和输出层保留 FP16 或 FP32。这种方案在金融时序预测里比较实用因为很多模型的关键误差来自最后几层。用工具链配置好每层的 dtype 后先用校准集验证再上线。5.3 与QAT的取舍如果 PTQ 在多个校准窗口下误差都不稳定不要反复调整校准集来掩盖问题。可以考虑 QAT。QAT 的代价是训练时间变长调试难度增加但收益是量化误差被模型主动适应。在金融时序预测里QAT 的一个额外难点是数据顺序和时间窗口。训练时要注意不能把未来信息泄露到量化模拟过程。一般我会先用 PTQ 跑通部署链路如果误差不可控再切 QAT 训练。不要一上来就全量 QAT那会拖慢整个迭代周期。5.4 我建议的落地方案先从小样本校准开始。用最近 20 个交易日的序列做 PTQ和浮点模型对比误差确认链路能跑通。然后扩大到 60~90 个交易日观察误差趋势。如果误差稳定再做分时段回测。部署后要监控两个指标量化模型和浮点模型在同一输入下的输出差异以及模型在生产环境里的实际预测误差。一旦输出差异随着时间明显增大说明校准窗口已经过期需要触发重新校准。如果你只是学习默认配置够用如果要长期维护日志、校准版本、输出目录和失败重试机制都要提前设计好。这个项目标题真正的价值是把“校准”这个词从技术文档里拉了出来变成一个需要反复回测的实验变量。我见过不少团队把量化当成一次性配置第一次跑通了就再也不管结果市场结构一变量化误差被放大到比浮点模型还难用。更合理的做法是把校准当成模型维护流程的一部分每次更新模型时重新评估校准窗口重新跑一遍分时段对比。如果只记住一件事那就是别让过去的校准数据替未来的推理做决定。