论文题目GenPhys: From Physical Processes to Generative Models从物理过程到生成模型会议AAAI2024摘要由于扩散模型(DM)和最新的泊松流生成模型(PFGM)都受到物理过程的启发我们有理由问物理过程能提供更多新的生成模型吗我们证明了答案是肯定的。我们引入了一个通用族从物理过程生成模型(GenPhys)在这里我们将描述物理过程的偏微分方程(PDE)转换为生成模型。我们证明了生成模型可以由S生成的偏微分方程组(S表示光滑)来构造。GenPhys包含了现有的两种生成模型(DM和PFGM)甚至产生了新的生成模型家族如由弱相互作用启发的汤川生成模型。另一方面一些物理过程默认不属于GenPhys家族例如波动方程和薛定谔方程但可以修改后成为GenPhys家族。我们与GenPhys的目标是探索和拓展生成性模型的设计空间。GenPhys从物理方程到生成模型一、出发点物理学与生成模型的隐秘对偶扩散模型Diffusion ModelsDM的直觉来自热力学——墨水在水中扩散泊松流生成模型PFGM的直觉来自静电学——数据点是带电粒子在电场线上运动。这两个近年来最成功的生成模型本质上都是把一个物理过程翻转过来的产物。这个观察催生了一个自然的问题物理学里有那么多偏微分方程为什么我们只用了这两个此处配图论文Figure 1物理过程与生成模型的对偶示意图展示扩散、静电、波动、亥姆霍兹、汤川、薛定谔等物理现象与对应生成模型的关系论文的答案是不是其他方程没用而是我们还没有一套系统的方法去判断和转化它们。GenPhys 的目标就是提供这套方法将物理方程的设计空间变成生成模型的设计空间。二、核心框架如何把一个物理方程变成生成模型2.1 生成模型 密度流GenPhys 的出发点是一个统一的数学对象——密度流方程这里 p 是概率密度v 是速度场粒子运动方向R 是出生/死亡项允许粒子数不守恒。右边的表示在 t0 时刻将真实数据注入系统。生成模型的工作流程就是正向让系统演化到 tT得到一个简单先验。反向从先验采样逆向运行速度场 v还原出数据分布。2.2 三步转化算法GenPhys 给出了一套将任意物理 PDE 转化为生成模型的算法Algorithm 1第一步把物理 PDE改写成密度流方程的形式找出与的对应关系。第二步将初始条件作为源项求解物理 PDE得到格林函数从而得到。第三步用神经网络拟合速度场训练完成后从先验采样并逆向运行网络输出。2.3 能被转化的条件s-生成s-generative不是所有物理方程都能变成生成模型。论文给出了两个必要条件称满足这两个条件的 PDE 为s-生成s 代表 smooth平滑(C1) 合法密度流且速度场处处有界不能有奇点。(C2) 信息抹平随着必须趋向于与初始数据无关的先验分布。(C2) 的直觉很清晰如果物理过程会保留初始信息比如声波可以传递消息那从噪声出发就没法逆向恢复数据分布。只有那些会磨平初始细节的方程才能用来建立生成模型。三、核心理论色散关系是判断 s-生成的钥匙逐一验证 (C2) 对每个方程都需要繁重的数学推导。论文的一个重要理论贡献是将 (C2) 化归为一个简洁的代数判据。3.1 色散关系是什么任何线性 PDE 都有形如的平面波解将其代入 PDE 即可得到与 k 的关系式称为色散关系。是纯虚数 → 对应模式随时间指数衰减是实数 → 对应模式随时间振荡不衰减3.2 s-生成的等价条件论文证明Appendix C(C2) 等价于物理含义高频k 0模式的衰减速率必须比零频k0快。这样随着时间推移分布中所有空间细节对应高频都会消失只剩下总质量对应零频即先验分布与初始数据无关。此处配表论文Table 3各物理 PDE 的色散关系及 s-生成判断汇总这个判据将能不能变成生成模型这个问题简化为查一下色散关系的虚部是否单调递减——机械而优雅。四、七个物理方程的逐一分析论文系统分析了七个经典物理方程。结果汇总如下。此处配表论文Table 1Table 2或可见完整版Table 5七个物理 PDE 与生成模型的对应关系包含 PDE 形式、重写形式、(p,v,R)、格林函数 G(r,t)、频域、(C1)(C2) 验证结果和 Green 函数可视化4.1 扩散方程s-生成→ 扩散模型对应关系R 0。格林函数是高斯核色散关系纯虚且随 k 增大满足两个条件。关键联系正是 score function与 Song Ermon2019的得分匹配完全吻合。这说明扩散模型天然是 GenPhys 框架的一个特例。4.2 泊松方程s-生成→ PFGM对应关系R 0。格林函数是泊松核色散关系一支纯虚衰减满足两个条件。v(x,t) 正好是 PFGM 中的泊松场再次印证框架的统一性。4.3 理想波动方程非 s-生成色散关系纯实数无衰减(C2) 直接失败。物理直觉声波、光波能够无损传递信息正是因为不衰减。这也是 (C1) 失败的原因——在波前 rt 处速度场发散。波动方程保留信息所以无法做生成模型——这正是直觉上可逆物理过程不适合生成模型的精确数学表述。4.4 耗散波动方程条件 s-生成加入阻尼系数后退化为理想波退化为扩散。色散关系中虚部为当时足够大时所有模式均衰减且高频衰减更快条件 s-生成。4.5 亥姆霍兹方程条件 s-生成单频波动方程退化为泊松方程。当时色散关系为纯虚衰减行为类似泊松流当时含实部出现振荡。因此只有在足够小时才条件 s-生成。4.6 汤川方程即屏蔽泊松方程s-生成→ 全新生成模型来自粒子物理的弱相互作用m0 时退化为泊松方程。对应关系与泊松方程相同但多了一项出生/死亡过程。格林函数为修正第二类贝塞尔函数比泊松核衰减更快特征长度。色散关系对所有 k 均为纯虚且随增大严格满足两个条件。这是论文提出的全新生成模型族——Yukawa 生成模型此前从未在文献中出现。4.7 薛定谔方程非 s-生成量子力学的核心方程。对应R 0。色散关系纯实数两个条件均失败(C1) 因为干涉导致可以为零速度场 v 在零点发散(C2) 因为量子态在大 t 时仍然振荡始终记得初始状态——这正是量子相干性的本质也是量子计算的基础。五、DM 与 PFGM 之间的插值一个连续的生成模型谱论文还探讨了以下混合 PDE(a,b) (0,1)退化为扩散方程 → DM(a,b) (1,0)退化为泊松方程 → PFGM一般 (a,b)两者之间的插值色散关系为对所有 a,b 0 均满足 s-生成条件但格林函数无法解析表达。这说明扩散模型和 PFGM并非两个孤立的点而是同一连续谱上的两端中间存在无穷多个有效的生成模型等待探索。此处配表论文Table 4色散关系引导的四类新候选生成模型混合扩散泊松、分数阶扩散、三阶扩散、双调和弹性方程六、新的候选生成模型借助色散关系判据GenPhys 还可以主动设计满足条件的新 PDE而不必等物理学家先发现它。Table 4 列出了四类新候选分数阶扩散色散关系满足条件。当 $\beta1$ 时退化为普通扩散模型调节 $\beta$ 可以控制高频衰减的速率。双调和弹性方程色散关系满足条件对应弹性力学中的板弯曲方程。三阶扩散色散关系包含三个分支其中一支满足条件。这些候选模型的实际性能如何有待后续工作验证——论文明确将此列为未来方向。七、GenPhys 框架的边界与局限论文在结论中坦诚地列出了当前框架尚未覆盖的方向非平滑 PDE 的潜力薛定谔方程虽然不是 s-生成的但在量子机器学习中已有基于量子电路的生成建模工作说明 GenPhys 之外也有生成模型的空间。非线性 PDE当前框架只覆盖线性 PDE因为它们有解析格林函数。纳维-斯托克斯方程、反应扩散方程、玻色-爱因斯坦凝聚等非线性物理现象理论上也可能启发新的生成模型。无空间对称性的 PDE论文假设 PDE 在空间上平移和旋转不变以保证格林函数可解析更一般的方程可以提供更多灵活性。含时间依赖的 PDE当前只考虑时间无关的系数时变 PDE 可以对接非平衡动力学、量子淬火等更广泛的物理过程。八、总结GenPhys 的核心贡献用一张表可以概括贡献内容统一框架将物理 PDE 系统性转化为生成模型DM 和 PFGM 是特例判定准则s-生成 ↔ 色散关系虚部单调递减判断机械化新生成模型Yukawa 生成模型屏蔽泊松方程理论上完全有效插值谱DM 与 PFGM 之间存在连续过渡给出参数化族反例分析明确指出理想波、薛定谔不可行及其数学原因设计空间通过直接构造色散关系提出 4 类新候选生成模型这篇论文的意义不在于立刻提出一个打败现有模型的新算法而在于开辟了一整块此前未曾系统探索的设计空间——物理学几百年积累的 PDE 理论都有可能成为生成模型的灵感来源。正如论文所言整个宇宙的演化从量子涨落到星系形成本质上就是一个巨大的生成模型由一组简洁的偏微分方程驱动。