1702.
目的 在神经辐射场虚拟视点画面合成过程中,因视图数量过少或视图颜色不一致产生离群稀疏深度值问题,提出利用深度估计网络的密集深度值监督神经辐射场虚拟视点画面合成的方法来解决此问题。
方法 首先输入视图进行运动恢复结构获取稀疏深度值,其次将 RGB 视图输入 New CRFs(neural window fully-connected CRFsfor monocular depth estimation)深度估计网络得到预估深度值,计算预估深度值和稀疏深度值之间的标准差。最后,利用预估深度值和计算得到的标准差,对神经辐射场的训练进行监督。
结果 实验在 NeRF Real 数据集上与其他算法进行了实验对比。在少量视图合成实验中,本文方法在图像质量和效果优于仅使用 RGB 监督的 NeRF(neuralradiance fields)方法和使用稀疏深度信息监督的方法,峰值信噪比较 NeRF 方法提高 24%,较使用稀疏深度信息监督的方法提高 19. 8%;结构相似度比 NeRF 方法提高 36%,比使用稀疏深度信息监督的方法提高 16. 6%。同时为了验证算法的数据效率,进行了相同的迭代次数达到的峰值信噪比的比较,相较于 NeRF 方法,数据效率也有明显提高。
结论 实验结果表明,本文所提出的利用深度估计网络密集深度值监督神经辐射场虚拟视点画面合成的方法,解决了视图数量过少或者视图颜色不一致产生离群稀疏深度值问题。… …
相似文献