文章目录摘要Abstract1.Animatable 3D Gaussian总结摘要本周阅读了论文Animatable 3D Gaussian对LBS如何将高斯点映射到观测空间有了了解形成对完整的高斯泼溅重建人体的流程的认识。AbstractThis week I read the paper Animatable 3D Gaussian and got an understanding of how LBS maps Gaussian points to the observation space, which gave me a sense of the full process of reconstructing the human body with Gaussian splats.1.Animatable 3D Gaussian神经辐射场能够重建高质量的可驱动人类化身但训练和渲染成本很高。为减少消耗提出可动画化的3D高斯从输入图像和姿势中学习人类化身。通过在正则空间中建模一组蒙皮的3D高斯模型和相应的骨架并根据输入姿态将3D高斯模型变形到姿态空间将3D高斯扩展到动态人类场景。引入哈希编码的形状和外观来加快训练并提出与时间相关的环境光遮蔽以在包含复杂运动和动态阴影的场景中实现高质量重建。在新视图合成和新姿态合成任务中所提出方法在训练时间、渲染速度和重建质量方面都优于现有方法。所提出方法可以很容易地扩展到多人类场景并在25秒训练时间内实现十人场景的高质量的新视图合成结果。初始化规范空间中的可动画3D高斯输入标准人体模板如SMPL模型包含约14万个顶点。操作为每个顶点创建一个3D高斯点并绑定对应的骨骼和蒙皮权重 w权重固定不参与优化。参数每个高斯点初始包含位置x 0 x_0x0​​、旋转R、缩放S、不透明度α 0 \alpha_0α0​​以及后续待优化的顶点位移σ x \sigma_xσx​和球谐系数sh。多头哈希编码器预测顶点位移输入为高斯中心位置x 0 x_0x0​和当前帧姿态S t S_tSt​​输出位移σ x \sigma_xσx​。这使得高斯点能随姿态变化产生形变。x 0 , S t → σ x x_0,S_t \rightarrow \sigma_xx0​,St​→σx​预测球谐系数输入为位置x 0 x_0x0​​输出颜色系数S H SHSH实现连续的颜色场。预测环境光遮蔽输入为位置X − 0 X-0X−0和时间编码y ( t ) y(t)y(t)输出遮蔽因子α 0 \alpha_0α0​。位置变形根据骨骼变换矩阵B i t B^t_iBit​和蒙皮权重w i w_iwi​计算变形后的位置x t ∑ w i B i t ( x 0 σ x ) x_t\sum w_i B_i^t(x_0\sigma_x)xt​∑wi​Bit​(x0​σx​)旋转变形高斯的旋转矩阵 R 也通过同样的LBS算法变形保证各向异性的高斯在姿态变化时方向正确。视角方向逆变换渲染时将相机视角方向从姿态空间逆变换回规范空间再查询球谐系数保证颜色随视角变化的一致性。最后通过高斯泼溅进行渲染。总结3D gaussian Animate中的很多流程都比较复杂但是其中的deformer模块还一直被继续使用到现在已经对LBS蒙皮等操作的描述让我了解到高斯泼溅重建人体的完整流程。