深度学习学成近似推断 —— 推断网络与醒眠算法(一百)
1. 定位导航🎉「近似推断」收官!从迭代优化到学一个推断网络。第 99 篇讲了变分推断——但每次推断都要迭代优化(不动点/梯度),代价高昂。本篇讲终极优化:学一个神经网络直接输出近似后验,一步到位。这正是 VAE 编码器的核心思想,是连接经典推断与现代深度生成模型的关键。1.1 核心洞察推断可以被视作一个增加L\mathcal{L}L(ELBO)值的优化过程。显式地通过迭代方法进行优化通常代价很高且耗时巨大。通过学习一个近似推断,许多推断算法避免了这种代价。1.2 本篇脉络迭代推断太慢 → 推断作为函数 → 用网络近似(摊还) → 醒眠算法 → 学成推断的其他形式2. 推断作为一个函数