NetKet 随机重配置SR加速指南让量子变分优化收敛快 10 倍的秘密【免费下载链接】netketMachine learning algorithms for many-body quantum systems项目地址: https://gitcode.com/gh_mirrors/ne/netketNetKet 是当今最流行的开源机器学习量子物理库之一它基于 JAX 构建专为神经网络量子态NQS与量子变分优化而设计。然而许多新手在用 NetKet 跑变分蒙特卡洛VMC时都会遇到同一个痛点能量收敛太慢、迭代几千步还在原地打转。本文为你揭开 NetKet 随机重配置SR的面纱——这套源自自然梯度思想的神秘加速机制能让量子变分优化的收敛速度提升近 10 倍是每个 NetKet 用户都该掌握的终极武器。为什么你的量子变分优化收敛这么慢普通梯度下降SGD只沿着能量曲面的最陡下降方向前进却完全忽略了参数空间的几何形状。当损失曲面是狭长山谷时——这在量子多体系统中极其常见——SGD 会在谷壁之间来回震荡看似每步都在更新实际进展微乎其微。这就是量子变分优化收敛慢的根本原因参数空间曲率不均匀。梯度方向正确的距离被扭曲了一步迈大了发散迈小了原地踏步。随机重配置SR是什么自然梯度的秘密武器随机重配置Stochastic Reconfiguration简称 SR在数学上等价于自然梯度下降Natural Gradient Descent。它的核心思想是用量子几何张量QGTQuantum Geometric Tensor来度量参数空间的距离从而对梯度做几何校正。SR 求解的线性方程组可以写成(S λI) Δθ ∇E其中 S 就是量子几何张量等价于神经网络中的 Fisher 信息矩阵λ 是正则化系数Δθ 是校正后的参数更新。简单说SR 把每一步的梯度都按参数空间的真实几何重新丈量了一遍让更新方向既快又稳。在 NetKet 中SR 预处理器定义在 netket/optimizer/sr.py核心求解逻辑在 netket/_src/ngd/sr.py而量子几何张量的多种实现稠密 Jacobian、PyTree、OnTheFly 等集中在 netket/optimizer/qgt/ 目录下你可按需翻阅。一行代码开启 SR用 VMC_SR 代替 VMC老版本里你需要手动把 SR 当作 preconditioner 塞进 VMC代码繁琐还容易出错。现在 NetKet 推荐直接使用内置驱动VMC_SR它把所有细节封装好并支持在标准 SR 与高效的 MinSR核技巧之间一键切换。VMC_SR 的完整实现见 netket/_src/driver/vmc_sr.py它在官方 netket/driver/init.py 中被导出用法非常简单import netket as nk gs nk.driver.VMC_SR( ha, # 哈密顿量 op, # 优化器建议 Sgd variational_statevs, # 变分态 MCState diag_shift0.01, # 正则化参数 ) gs.run(n_iter500, outtest)比起普通nk.driver.VMC你只多了一个驱动类就能白拿近 10 倍的收敛加速。完整的可直接运行示例在 Examples/Ising1d/ising1d_sr.py。让 SR 收敛快 10 倍的 5 个调参技巧技巧一把 diag_shift 调到推荐区间diag_shift是 SR 的正则化参数默认值是 0.01但对大多数模型来说推荐区间是 1e-4 ~ 1e-3这一建议写在 netket/_src/ngd/sr_srt_common.py 的文档注释中。过大的 diag_shift 会过度稀释几何信息让 SR 退化成普通梯度下降过小则可能导致线性系统病态。更高级的玩法是传入 optax 调度器让它在训练初期大、后期小兼顾稳定与速度。技巧二选对线性求解器SR 每一步都要解一个线性方程组求解器的选择直接影响速度小模型默认的cholesky_with_fallback或pinv伪逆精度高推荐用partial(netket.optimizer.solver.pinv, rtol1.0e-6)参考 Examples/Ising1d/ising1d_sr_pinv.py大模型改用迭代求解器jax.scipy.sparse.linalg.cg共轭梯度避免构造和求逆完整的 S 矩阵内存和耗时都大幅下降。技巧三保证样本数大于参数数SR 需要估计量子几何张量 S而 S 的秩最多不超过样本数。当n_samples ≤ n_parameters时NetKet 会发出InsufficientSamplesForSRWarning警告检测逻辑在 netket/driver/vmc.py此时 S 矩阵奇异、SR 完全失效。经验法则样本数至少是参数数的 2~3 倍。技巧四大模型改用 MinSR内存直降一个量级当参数达到百万级时标准的 SR 需要构造 Np×Np 的 S 矩阵内存直接爆炸。这时启用MinSR核技巧它只求逆 Ns×Ns 的小矩阵Ns 为样本数复杂度与参数数量解耦是超大神经网络的救星。在 NetKet 里一行即可切换VMC_SR(..., use_ntkTrue)其核技巧实现见 netket/_src/ngd/srt.py封装入口是VMC_SRt。技巧五搭配 Sgd 与学习率调度SR 已经做了几何预条件优化器再叠加 Adam 反而画蛇添足。官方推荐搭配nk.optimizer.Sgd并配合optax.linear_schedule之类的学习率调度前期大步快跑、后期小步精修。参考示例op nk.optimizer.Sgd(learning_rateoptax.linear_schedule(0.1, 0.0001, 500))。完整示例1D Ising 模型 500 步收敛把上述技巧合起来一个标准的 NetKet SR 工作流长这样完整脚本见 Examples/Ising1d/ising1d_sr.py构造一维超立方图nk.graph.Hypercube(L, 1)与自旋希尔伯特空间定义 Ising 哈密顿量nk.operator.Ising(...)选择 RBM 波函数nk.models.RBM(alpha1)与 MetropolisLocal 采样器构建 MCState记得把 n_samples 调大到几千交给VMC_SR跑 500 步能量即可逼近精确基态。对 20 个格点的 Ising 链普通 VMC 往往要数千步才能收敛而 SR 通常几百步就能达到相同精度这正是收敛快 10 倍的底气所在。常见问题 FAQQ1SR 和自然梯度是什么关系完全等价。SR 是物理学家对自然梯度在量子变分问题中的称呼NetKet 官方文档也标注为 Stochastic Reconfiguration/Natural Gradient。Q2什么时候用标准 SR什么时候用 MinSR参数少几千以内用标准 SR精度与稳定性更好参数大几十万以上或内存吃紧时果断切use_ntkTrue。Q3SR 变慢了怎么办先查diag_shift是否过大、样本数是否不足、求解器是否与模型规模匹配按上面 5 个技巧逐一排查即可。现在就去你的 NetKet 项目里把VMC换成VMC_SR试试吧亲眼见证量子变分优化的收敛速度飞跃【免费下载链接】netketMachine learning algorithms for many-body quantum systems项目地址: https://gitcode.com/gh_mirrors/ne/netket创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 NetKet 随机重配置（SR）加速指南：让量子变分优化收敛快 10 倍的秘密
NetKet 随机重配置SR加速指南让量子变分优化收敛快 10 倍的秘密【免费下载链接】netketMachine learning algorithms for many-body quantum systems项目地址: https://gitcode.com/gh_mirrors/ne/netketNetKet 是当今最流行的开源机器学习量子物理库之一它基于 JAX 构建专为神经网络量子态NQS与量子变分优化而设计。然而许多新手在用 NetKet 跑变分蒙特卡洛VMC时都会遇到同一个痛点能量收敛太慢、迭代几千步还在原地打转。本文为你揭开 NetKet 随机重配置SR的面纱——这套源自自然梯度思想的神秘加速机制能让量子变分优化的收敛速度提升近 10 倍是每个 NetKet 用户都该掌握的终极武器。为什么你的量子变分优化收敛这么慢普通梯度下降SGD只沿着能量曲面的最陡下降方向前进却完全忽略了参数空间的几何形状。当损失曲面是狭长山谷时——这在量子多体系统中极其常见——SGD 会在谷壁之间来回震荡看似每步都在更新实际进展微乎其微。这就是量子变分优化收敛慢的根本原因参数空间曲率不均匀。梯度方向正确的距离被扭曲了一步迈大了发散迈小了原地踏步。随机重配置SR是什么自然梯度的秘密武器随机重配置Stochastic Reconfiguration简称 SR在数学上等价于自然梯度下降Natural Gradient Descent。它的核心思想是用量子几何张量QGTQuantum Geometric Tensor来度量参数空间的距离从而对梯度做几何校正。SR 求解的线性方程组可以写成(S λI) Δθ ∇E其中 S 就是量子几何张量等价于神经网络中的 Fisher 信息矩阵λ 是正则化系数Δθ 是校正后的参数更新。简单说SR 把每一步的梯度都按参数空间的真实几何重新丈量了一遍让更新方向既快又稳。在 NetKet 中SR 预处理器定义在 netket/optimizer/sr.py核心求解逻辑在 netket/_src/ngd/sr.py而量子几何张量的多种实现稠密 Jacobian、PyTree、OnTheFly 等集中在 netket/optimizer/qgt/ 目录下你可按需翻阅。一行代码开启 SR用 VMC_SR 代替 VMC老版本里你需要手动把 SR 当作 preconditioner 塞进 VMC代码繁琐还容易出错。现在 NetKet 推荐直接使用内置驱动VMC_SR它把所有细节封装好并支持在标准 SR 与高效的 MinSR核技巧之间一键切换。VMC_SR 的完整实现见 netket/_src/driver/vmc_sr.py它在官方 netket/driver/init.py 中被导出用法非常简单import netket as nk gs nk.driver.VMC_SR( ha, # 哈密顿量 op, # 优化器建议 Sgd variational_statevs, # 变分态 MCState diag_shift0.01, # 正则化参数 ) gs.run(n_iter500, outtest)比起普通nk.driver.VMC你只多了一个驱动类就能白拿近 10 倍的收敛加速。完整的可直接运行示例在 Examples/Ising1d/ising1d_sr.py。让 SR 收敛快 10 倍的 5 个调参技巧技巧一把 diag_shift 调到推荐区间diag_shift是 SR 的正则化参数默认值是 0.01但对大多数模型来说推荐区间是 1e-4 ~ 1e-3这一建议写在 netket/_src/ngd/sr_srt_common.py 的文档注释中。过大的 diag_shift 会过度稀释几何信息让 SR 退化成普通梯度下降过小则可能导致线性系统病态。更高级的玩法是传入 optax 调度器让它在训练初期大、后期小兼顾稳定与速度。技巧二选对线性求解器SR 每一步都要解一个线性方程组求解器的选择直接影响速度小模型默认的cholesky_with_fallback或pinv伪逆精度高推荐用partial(netket.optimizer.solver.pinv, rtol1.0e-6)参考 Examples/Ising1d/ising1d_sr_pinv.py大模型改用迭代求解器jax.scipy.sparse.linalg.cg共轭梯度避免构造和求逆完整的 S 矩阵内存和耗时都大幅下降。技巧三保证样本数大于参数数SR 需要估计量子几何张量 S而 S 的秩最多不超过样本数。当n_samples ≤ n_parameters时NetKet 会发出InsufficientSamplesForSRWarning警告检测逻辑在 netket/driver/vmc.py此时 S 矩阵奇异、SR 完全失效。经验法则样本数至少是参数数的 2~3 倍。技巧四大模型改用 MinSR内存直降一个量级当参数达到百万级时标准的 SR 需要构造 Np×Np 的 S 矩阵内存直接爆炸。这时启用MinSR核技巧它只求逆 Ns×Ns 的小矩阵Ns 为样本数复杂度与参数数量解耦是超大神经网络的救星。在 NetKet 里一行即可切换VMC_SR(..., use_ntkTrue)其核技巧实现见 netket/_src/ngd/srt.py封装入口是VMC_SRt。技巧五搭配 Sgd 与学习率调度SR 已经做了几何预条件优化器再叠加 Adam 反而画蛇添足。官方推荐搭配nk.optimizer.Sgd并配合optax.linear_schedule之类的学习率调度前期大步快跑、后期小步精修。参考示例op nk.optimizer.Sgd(learning_rateoptax.linear_schedule(0.1, 0.0001, 500))。完整示例1D Ising 模型 500 步收敛把上述技巧合起来一个标准的 NetKet SR 工作流长这样完整脚本见 Examples/Ising1d/ising1d_sr.py构造一维超立方图nk.graph.Hypercube(L, 1)与自旋希尔伯特空间定义 Ising 哈密顿量nk.operator.Ising(...)选择 RBM 波函数nk.models.RBM(alpha1)与 MetropolisLocal 采样器构建 MCState记得把 n_samples 调大到几千交给VMC_SR跑 500 步能量即可逼近精确基态。对 20 个格点的 Ising 链普通 VMC 往往要数千步才能收敛而 SR 通常几百步就能达到相同精度这正是收敛快 10 倍的底气所在。常见问题 FAQQ1SR 和自然梯度是什么关系完全等价。SR 是物理学家对自然梯度在量子变分问题中的称呼NetKet 官方文档也标注为 Stochastic Reconfiguration/Natural Gradient。Q2什么时候用标准 SR什么时候用 MinSR参数少几千以内用标准 SR精度与稳定性更好参数大几十万以上或内存吃紧时果断切use_ntkTrue。Q3SR 变慢了怎么办先查diag_shift是否过大、样本数是否不足、求解器是否与模型规模匹配按上面 5 个技巧逐一排查即可。现在就去你的 NetKet 项目里把VMC换成VMC_SR试试吧亲眼见证量子变分优化的收敛速度飞跃【免费下载链接】netketMachine learning algorithms for many-body quantum systems项目地址: https://gitcode.com/gh_mirrors/ne/netket创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考