在神经网络硬件加速项目中真正费时间的往往不是模型训练而是把已经训练好的权重转换成可以在 FPGA 或 ASIC 上高效执行的电路结构。Sparse Weight Decomposition稀疏权重分解正是针对这一环节提出的思路先对权重矩阵做稀疏化和低秩分解再基于分解后的稀疏矩阵结构完成电路提取避免把大量零权重也写成实打实的乘法器。下面用一个最小可复现示例讲清楚从权重矩阵到稀疏分解再到 Verilog 电路生成的完整链路以及每一步为什么这样设计。1. 为什么神经网络电路提取要引入稀疏权重分解1.1 从权重矩阵到硬件电路的常规路径神经网络推理在硬件上执行时核心运算是矩阵乘法。以线性层为例计算可以写成y W * x b其中W的形状是(N, M)x是M维输入y是N维输出。在 FPGA 或 ASIC 上实现时最直接的做法是把矩阵乘法转换成N * M个乘加单元MAC每个非零权重对应一次乘法同一输出列的所有乘法结果累加得到对应输出。这种路径清晰但问题也明显模型经过剪枝后权重矩阵中会有大量零权重如果依然按照稠密矩阵生成电路这些零权重对应的乘法器仍然会占用逻辑资源、布线资源和功耗。硬件不会因为乘数是零就自动省电除非结构上显式跳过它。1.2 稀疏化之后零权重仍然会带来额外成本很多工程师会先做权重剪枝得到高稀疏权重矩阵然后再做硬件映射。但稀疏矩阵本身的存储和计算并不是免费的如果要跳过零权重需要额外生成索引或掩码硬件必须解析这些信息才能决定哪些乘加单元需要激活。如果继续使用稠密矩阵对应的乘加阵列零权重对应的资源依然存在只是计算结果是零。稀疏矩阵的分布如果不规则还会带来负载不均衡问题部分处理单元很忙部分处理单元闲置。Sparse Weight Decomposition 的思路是在电路提取之前先把权重矩阵进一步拆成两个低秩且稀疏的矩阵。这样最终进入硬件映射的乘法器数量可以从稠密矩阵的N * M降到两个稀疏矩阵非零元素数量之和。下面给出一个直观对比方案乘法器数量估计额外成本稠密矩阵直接映射N * M无但资源浪费稀疏矩阵直接映射非零元素数量需要索引、掩码、控制逻辑稀疏低秩分解后映射nnz(W1) nnz(W2)分解误差、中间结果存储当分解后的矩阵非零数量足够少时减少的乘法器数量可以覆盖索引和控制逻辑的开销整体硬件效率才会真正提升。1.3 适用场景和前置知识这套方法适合以下场景已经完成训练和剪枝的神经网络模型准备移植到 FPGA 或 ASIC。对乘法器数量、DSP 资源或功耗有明确限制的硬件项目。希望在同一套权重下通过改变分解秩和稀疏阈值来搜索硬件资源和精度平衡点的团队。阅读本文需要的基础知识包括神经网络基本结构、矩阵乘法、SVD 分解、简单 Verilog 语法。不需要先掌握复杂的编译优化框架示例会从零开始写。2. 核心概念稀疏权重、低秩分解和电路提取的关系2.1 稀疏权重矩阵剪枝后留下什么剪枝的目的是让权重矩阵中出现尽可能多的零值。剪枝后权重矩阵可以看成原矩阵乘以掩码矩阵W_sparse W * mask掩码矩阵中为 1 的位置保留原权重为 0 的位置直接置为 0。下面用 NumPy 构造一个简单的稀疏权重矩阵import numpy as np np.random.seed(0) W np.random.randn(8, 8) threshold 0.5 mask np.abs(W) threshold W_sparse W * mask sparsity 1.0 - mask.mean() print(W shape:, W.shape) print(sparsity:, f{sparsity:.2%})这里的threshold是绝对值阈值mask用于记录哪些位置需要保留。运行后可以看到示例矩阵的稀疏率大约在 60% 到 70% 之间具体数值取决于随机种子。稀疏率是后续资源评估的第一个关键指标但它并不等于硬件加速收益。真正重要的是稀疏矩阵中非零元素落在哪些位置以及这些位置能否被硬件有效利用。2.2 低秩分解把稠密矩阵拆成两个稀疏矩阵低秩分解的基本形式是W ≈ W1 * W2其中W的形状是(N, M)W1的形状是(N, r)W2的形状是(r, M)r远小于N和M。这样原始矩阵的计算被拆成两步p W2 * x y W1 * p两步的乘法量分别是r * M和N * r而不是N * M。如果再对W1和W2做稀疏化那么最终参与硬件计算的乘法器数量就是两个稀疏矩阵的非零元素数量之和。一个常用策略是先做 SVD再对小数值进行阈值化import numpy as np def sparse_decompose(W, rank, epsilon): U, S, Vt np.linalg.svd(W, full_matricesFalse) W1 U[:, :rank] np.diag(np.sqrt(S[:rank])) W2 np.diag(np.sqrt(S[:rank])) Vt[:rank, :] W1[np.abs(W1) epsilon] 0.0 W2[np.abs(W2) epsilon] 0.0 return W1, W2这段代码把 SVD 的结果U * S * Vt重新组合成W1和W2并把绝对值小于epsilon的元素置零。epsilon越大稀疏率越高但重建误差也可能越大。2.3 电路提取的最小单元从矩阵元素到乘加器电路提取的目标是把矩阵计算映射成硬件电路。最小单元是乘加器矩阵中的每个非零元素W[i][j]对应一个乘法x[j] * W[i][j]。同一输出行i的所有乘积通过加法器树累加得到y[i]。分解后W2负责把输入x转换为中间结果pW1负责把p转换为输出y。因此电路提取实际是在做两件事扫描矩阵每一个元素判断它是否为零。只对非零元素生成乘法器并按输出维度组织加法器结构。这一步如果做得不够细致稀疏分解的收益会被代码生成器抵消。许多项目在矩阵分解阶段稀疏率很高但生成的 Verilog 仍然对每个输出端口保留了固定宽度和固定乘法器导致资源没有明显下降。3. 环境准备和实验数据3.1 依赖清单下面的示例基于 Python 和 PyTorch生成 Verilog 后可以选用 Icarus Verilog 做仿真。公开项目里常见的依赖版本如下具体落地前需要确认自己环境的兼容性。组件建议版本用途Python3.10 或更高运行脚本NumPy1.24 或更高矩阵计算和验证PyTorch2.x权重张量操作和剪枝Icarus Verilog12 或更高可选仿真生成的 RTL如果只关注电路提取方法和代码生成逻辑不一定要安装 Icarus Verilog。3.2 构造一个可复现的权重样例为了让结果可复现直接构造一个带随机种子的小型权重矩阵。这里使用64 x 64的矩阵模拟一个线性层import numpy as np import torch np.random.seed(42) torch.manual_seed(42) W np.random.randn(64, 64) W torch.from_numpy(W).float()先不剪枝保留完整矩阵便于后续对比稀疏化前后的效果。实际项目中这里应该加载训练好的模型权重并从模型文件中按层导出。3.3 目录结构建议按下面的结构组织代码方便后续替换真实模型sparse_circuit_example/ ├── main.py ├── decompose.py ├── extract_circuit.py └── generated/ ├── stage0.v ├── stage1.v └── top.vdecompose.py负责剪枝和稀疏分解extract_circuit.py负责把稀疏矩阵转成 Verilog 模块generated/保存生成结果。4. 稀疏权重分解的代码实现4.1 使用 PyTorch 做全局剪枝训练好的权重通常不是自然稀疏的。先按绝对值阈值做一次全局剪枝得到一个初始稀疏矩阵。def prune_weight(W: torch.Tensor, keep_ratio: float) - torch.Tensor: threshold torch.quantile(W.abs().flatten(), 1 - keep_ratio) mask W.abs() threshold W_pruned W * mask return W_pruned调用W_pruned prune_weight(W, keep_ratio0.3) sparsity 1.0 - (W_pruned ! 0).float().mean().item() print(fsparsity after prune: {sparsity:.2%})这里的keep_ratio0.3表示大约保留 30% 的权重。注意torch.quantile和整数权重数量之间可能存在细微误差最终稀疏率需要回到张量上重新统计。注意绝对值阈值剪枝适合理解流程不适合直接用于精度敏感项目。真实项目中建议使用结构化剪枝或感知训练避免破坏模型的语义结构。4.2 稀疏低秩分解SVD 加阈值化得到稀疏矩阵后通过 SVD 分解成两个低秩矩阵再对小数值置零def sparse_decompose(W: torch.Tensor, rank: int, epsilon: float): U, S, Vt torch.linalg.svd(W, full_matricesFalse) W1 U[:, :rank] torch.diag(torch.sqrt(S[:rank])) W2 torch.diag(torch.sqrt(S[:rank])) Vt[:rank, :] W1[torch.abs(W1) epsilon] 0.0 W2[torch.abs(W2) epsilon] 0.0 return W1, W2调用rank 16 epsilon 0.1 W1, W2 sparse_decompose(W_pruned, rankrank, epsilonepsilon)关键点是这里的W1和W2在数学上重建了原始矩阵的近似后续电路会变成两级矩阵乘而不是一级矩阵乘。如果对精度要求更高可以使用交替最小化。基本思路是固定W2求解稀疏约束下的最优W1。固定W1求解稀疏约束下的最优W2。重复若干轮直到误差稳定。下面给出一个简化迭代框架def sparse_projection(A: torch.Tensor, epsilon: float) - torch.Tensor: A[torch.abs(A) epsilon] 0.0 return A def als_decompose(W, rank, epsilon, iterations20): U, S, Vt torch.linalg.svd(W, full_matricesFalse) W1 U[:, :rank] torch.diag(torch.sqrt(S[:rank])) W2 torch.diag(torch.sqrt(S[:rank])) Vt[:rank, :] reg 1e-6 for _ in range(iterations): W2 sparse_projection( torch.linalg.solve(W1.T W1 reg * torch.eye(rank), W1.T W), epsilon ) W1 sparse_projection( (W W2.T) torch.linalg.inv(W2 W2.T reg * torch.eye(rank)), epsilon ) return W1, W2这个框架在示例中是成立的但真实项目里要注意rank的大小当rank较大时矩阵求逆会变得昂贵更适合用梯度下降或坐标下降。4.3 验证分解误差和稀疏率分解完成后要用数据说话def evaluate_decompose(W, W1, W2): recon W1 W2 fro_error torch.norm(W - recon, pfro) / torch.norm(W, pfro) sparsity_w1 1.0 - (W1 ! 0).float().mean().item() sparsity_w2 1.0 - (W2 ! 0).float().mean().item() nnz_w1 (W1 ! 0).sum().item() nnz_w2 (W2 ! 0).sum().item() print(ffro_error{fro_error:.4f}) print(fW1 sparsity{sparsity_w1:.2%}, nnz{nnz_w1}) print(fW2 sparsity{sparsity_w2:.2%}, nnz{nnz_w2}) return fro_error示例运行结果大致如下具体数值会随随机种子变化fro_error0.1832 W1 sparsity68.20%, nnz327 W2 sparsity71.10%, nnz296这里的fro_error是相对误差用于衡量分解近似效果。误差越小说明分解越接近原始矩阵但通常伴随更低的稀疏率或更大的rank。5. 电路提取实现从稀疏矩阵到 Verilog5.1 定义端口映射和连线规则生成 Verilog 前先明确端口映射规则。假设W的形状是(N, M)输入x是M维向量输出y是N维向量。对于矩阵乘法y[i] sum_j W[i][j] * x[j]当某个W[i][j]为零时对应乘法不需要生成。每个非零元素生成product_i_j x[j] * weight同一输出维度上的所有product_i_j累加得到y[i]。按照这个规则电路提取的核心就是扫描矩阵并生成两部分代码乘法器实例和加法器累加。5.2 使用 Python 生成 Verilog 乘加电路下面的函数接收一个稀疏矩阵生成一个sparse_mvm模块。为了演示权重被量化成整数输入和输出使用打包位宽。def generate_sparse_mvm_module(module_name, W, input_bits8, weight_bits8, output_bits24): rows, cols W.shape lines [] lines.append(fmodule {module_name} () lines.append(f input wire [{rows * input_bits - 1}:0] x,) lines.append(f output wire [{cols * output_bits - 1}:0] y) lines.append();) lines.append(f localparam IN_BITS {input_bits};) lines.append(f localparam OUT_BITS {output_bits};) lines.append(f localparam MUL_BITS {input_bits weight_bits};) lines.append() for j in range(cols): terms [] for i in range(rows): weight float(W[i][j]) if abs(weight) 1e-6: continue weight_int int(round(weight)) wire_name fmul_{i}_{j} lines.append(f wire signed [MUL_BITS-1:0] {wire_name};) lines.append(f assign {wire_name} $signed(x[{i}*IN_BITS : IN_BITS]) * {weight_int};) terms.append(wire_name) if terms: expr .join(terms) lines.append(f assign y[{j}*OUT_BITS : OUT_BITS] {expr};) else: lines.append(f assign y[{j}*OUT_BITS : OUT_BITS] {{{output_bits}{{1b0}}}};) lines.append() lines.append(endmodule) return \n.join(lines)这段代码的关键点只对非零权重生成乘法器。同一输出列的所有乘法结果通过连接会让综合工具自动推断加法器树。向量信号使用打包位宽方便模块级联。权重被四舍五入成整数实际项目中需要先完成权重量化。注意这里的weight_bits是示例参数不是每个权重值都刚好落在 8 位范围内。生成真实硬件前必须根据权重分布计算整数位宽和小数位宽否则会引入截断误差甚至正负号错误。5.3 生成两级子模块和顶层模块分解后得到W1和W2。假设W2: (rank, M) W1: (N, rank)先用上面的函数生成stage0.v和stage1.vstage0_rtl generate_sparse_mvm_module(stage0, W2) stage1_rtl generate_sparse_mvm_module(stage1, W1)再生成一个顶层模块把两级电路串起来def generate_top_module(top_name, W1, W2, input_bits8, output_bits24): rank, m W2.shape n, _ W1.shape lines [] lines.append(fmodule {top_name} () lines.append(f input wire [{m * input_bits - 1}:0] x,) lines.append(f output wire [{n * output_bits - 1}:0] y) lines.append();) lines.append(f wire [{rank * output_bits - 1}:0] p;) lines.append() lines.append( stage0 u0() lines.append( .x(x),) lines.append( .y(p)) lines.append( );) lines.append() lines.append( stage1 u1() lines.append( .x(p),) lines.append( .y(y)) lines.append( );) lines.append() lines.append(endmodule) return \n.join(lines)这里要注意p的位宽是rank * output_bits因为stage0输出的每个中间维度都使用output_bits。真实项目中中间位宽通常是输入位宽加权重位宽再加累加位宽需要单独计算。6. 运行验证从数值到电路资源6.1 用数值对比验证分解正确性生成电路之前先用 Python 验证分解后的矩阵乘法和原始矩阵乘法结果是否一致M W.shape[1] x torch.randn(M, 1) y_ref W_pruned x y_decomp W1 (W2 x) err torch.norm(y_ref - y_decomp) / torch.norm(y_ref) print(frelative error: {err:.4f})如果相对误差在可接受范围内说明分解没有破坏矩阵计算关系可以继续生成电路。如果误差过大应该回到分解步骤调整rank或epsilon而不是强行推进到 Verilog 生成。6.2 乘法器数量对比电路提取的资源收益可以通过非零元素数量初步估算nnz_dense W.numel() nnz_sparse (W_pruned ! 0).sum().item() nnz_stage0 (W2 ! 0).sum().item() nnz_stage1 (W1 ! 0).sum().item() print(fdense: {nnz_dense}) print(fsparse: {nnz_sparse}) print(fdecomposed: {nnz_stage0 nnz_stage1})示例中可能出现类似结果阶段非零元素数量稠密矩阵4096剪枝后稀疏矩阵约 1200分解后两级稀疏矩阵约 600这里的非零元素数量近似等于乘法器数量。实际综合时还会看到寄存器数量、查找表数量和布线资源的变化这些指标需要通过 FPGA 工具报告确认。6.3 硬件验证的边界生成 Verilog 后可以用仿真工具做基础验证。如果安装了 Icarus Verilog可以尝试iverilog -o sim generated/top.v generated/stage0.v generated/stage1.v tb.v vvp sim但这里有一个很重要的边界示例生成的 RTL 是组合逻辑简化版用于理解电路提取思路还不能直接作为高主频设计使用。生产项目中还要考虑流水线、复位、握手信号、时钟约束和时序收敛。7. 常见问题和排查路径7.1 分解之后重建误差过大现象fro_error很高或者数值验证时相对误差超过 10%。可能原因和排查路径可能原因检查方式处理建议rank太小打印 SVD 的奇异值观察前rank个奇异值占比逐步增大rank观察误差变化epsilon太高统计置零比例降低epsilon只置零接近 0 的元素剪枝后权重分布太均匀统计权重绝对值分布改用结构化剪枝或重新训练7.2 稀疏率提升但硬件资源没有下降现象分解后nnz明显减少但综合报告中的 DSP 或 LUT 数量没有明显变化。这不是分解本身的问题通常是电路提取阶段没有真正跳过零权重。常见原因包括生成 Verilog 时仍然对所有i * j位置生成了乘法器。代码生成器把权重四舍五入后把原本很小的非零值变成了 0但端口宽度和加法器仍然被生成。综合工具优化力度不够无法消除恒零信号驱动的逻辑。排查方式是统计生成 RTL 中的乘法器实例数量grep -c assign mul generated/stage0.v generated/stage1.v如果这个数量接近nnz_stage0 nnz_stage1说明跳过逻辑正确。如果数量接近稠密矩阵元素数需要检查生成器里的零值判断条件。7.3 生成的 Verilog 综合不通过常见错误包括信号位宽不匹配、$signed使用不当、顶层模块端口与子模块端口连接错误。排查顺序先检查localparam是否与端口宽度一致。再检查stage0和stage1的输入输出位宽是否与中间信号一致。然后检查权重值的整数位是否超出weight_bits如果超出会生成位宽截断或多位符号错误。最后用简单测试平台单独验证stage0确认中间结果符合预期。7.4 电路提取前检查清单检查项确认内容权重来源是否从训练好的模型导出而不是随机测试矩阵稀疏率剪枝后的实际稀疏率是否达到预期分解误差重建误差在目标范围内权重量化权重是否已完成整数化位宽是否覆盖最大和最小权重RTL 生成生成的乘法器数量是否等于nnz(W1) nnz(W2)端口连接顶层模块的中间信号位宽是否匹配仿真验证输入固定的向量输出是否与 Python 计算结果一致8. 生产环境落地建议和下一步扩展8.1 学习环境与生产环境的差异学习阶段只要跑通流程即可生产环境还需要考虑更多内容。维度学习环境生产环境权重处理随机矩阵模型导出、量化、感知训练分解算法SVD 加阈值交替优化、误差回传、按层调参RTL 代码组合逻辑简化版流水线、状态机、时钟和复位验证方式Python 数值对比UVM 验证、形式验证、回归测试资源报告非零数量估算工具综合报告、时序收敛、功耗分析8.2 推荐的工作流从项目落地角度推荐按以下顺序推进导出每层权重统计各层的分布和稀疏潜力。对权重做剪枝和量化确定硬件位宽。按层做稀疏低秩分解逐层记录rank、epsilon、重建误差和稀疏率。用真实输入向量做数值对比确定误差满足需求。生成 RTL并统计乘法器数量是否与nnz一致。对生成的 RTL 做仿真和综合观察资源、时序和功耗。如果资源超限回到分解阶段调整参数而不是在 RTL 层硬猜。8.3 可以继续扩展的方向稀疏权重分解和电路提取本身可以做得更深。常见扩展方向包括结构化稀疏按通道或块做稀疏化减少索引和控制逻辑。分解与训练联合优化在训练损失中加入重建误差和稀疏正则项。多层融合把相邻卷积层或线性层合并后再分解减少中间存储。自动代码生成将这里的矩阵到 RTL 逻辑接入更完整的硬件生成工具链按约束搜索最优分解参数。建议从一个小规模线性层开始把分解、RTL 生成、仿真和资源统计全部跑通再逐步推广到真实模型。这样即使后续遇到精度或资源问题也能快速定位是分解算法的问题还是电路生成器的问题。