神经辐射场多视图合成技术综述

• Published in: 计算机工程与应用 Vol. 60; no. 4; pp. 21 - 38
• Main Authors: 马汉声, 祝玉华, 李智慧, 阎磊, 司艺艺, 连一萌, 张钰涵
• Format: Journal Article
• Language: Chinese
• Published: 河南工业大学 信息科学与工程学院,郑州 450001 15.02.2024; 河南工业大学 粮食信息处理与控制教育部重点实验室,郑州 450001%河南工业大学 粮食储藏安全河南省协同创新中心,郑州 450001
• Subjects: 视图合成; deep learning; 场景表达; 3D reconstruction; 神经渲染; 深度学习; neural radiance fields(NeRF); view synthesis; scene representation; 神经辐射场(NeRF); 三维重建; neural rendering
• ISSN: 1002-8331
• DOI: 10.3778/j.issn.1002-8331.2303-0218

TP391; 如何从图像中渲染出较为真实的虚拟场景一直是计算机图形学与计算机视觉领域的研究目标之一.神经辐射场是一种基于深度神经网络的新兴方法,它通过学习场景中每个点的辐射场来实现较为真实的渲染效果.通过神经辐射场不仅可以生成逼真的图像,而且可以生成具有真实感的三维场景,在虚拟现实、增强现实和计算机游戏等领域有着广泛的应用前景.然而,其基础模型存在训练效率低、泛化能力差、可解释性不足、易受光照和材质变化影响以及无法处理动态场景等问题,在某些情况下无法获得最佳的渲染结果.大量基于此研究的工作陆续展开,且在效率和精度等方面都取得了出色的成果.为了跟踪该领域最新研究成果,对近年来神经辐射场领域的关键算法进行回顾和综述.首先介绍了神经辐射场的产生背景及原理,对后续关键改进模型进行分类探讨.主要涵盖以下几个方面:对神经辐射场基本模型参数的优化,在渲染速度与推理能力方面的提升,对空间表达和光照能力的改善,针对静态场景相机位姿估计与稀疏视图合成方法的改进,以及在动态场景建模领域的发展.对各种模型的速度与性能进行分类对比与分析,并简要介绍了该领域主要模型评估指标与公开数据集.最后对神经辐射场未来发展趋势进行展望.