重庆理工大学学报(自然科学) ›› 2023, Vol. 37 ›› Issue (10): 127-135.

• “扩展现实(XR)理论与技术及应用”专栏 • 上一篇    下一篇

结合注意力机制与路径聚合的多视图三维重建

王云艳,朱镇中,熊 超   

  1. (1.湖北工业大学 电气与电子工程学院,武汉 430068; 2.襄阳湖北工业大学产业研究院,湖北 襄阳 441100)
  • 出版日期:2023-11-20 发布日期:2023-11-20
  • 作者简介:王云艳,女,博士,副教授,主要从事计算机视觉、遥感解译等方面的研究,Email:1243360083@qq.com。

Multi-view 3D reconstruction combining attention mechanism and path aggregation

  • Online:2023-11-20 Published:2023-11-20

摘要: 目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取 不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一 种级联网络 PAAMVSNet。为了获得输入图像更加完整和准确的特征信息,该模型采用了“自 顶向下”的特征提取方法,在不同尺度上进行特征提取,并将这些特征进行拼接,最后输出 3个 不同尺度的特征层;此外,引入改进的 SE注意力模块优化三维代价体正则化过程,增强了代价 体成本体积之间的相关性,提高了重建的精度和完整性。在 DTU数据集上和基准网络 CasMVSNet相比,该模型的准确性误差和完整性误差指标分别降低了 5%和 1.4%,且相较于其 他模型均有不同程度提升。此外 TanksandTemples数据集上的实验结果表明,该模型有很好的 泛化性。提出的基于路径聚合的特征提取模块和注意力优化代价体正则化模块均取得了效果, 在重建精度上相比于其他模型都有一定的提升,验证了该模型的有效性。

关键词: 深度学习, 多视图立体匹配, 路径聚合, SE+模块

Abstract: Research on learning-based multi-view 3D reconstruction has achieved significant progress,issues like incomplete feature extraction and poor correlation between cost volume still exist,resulting in low reconstruction accuracy.To address these problems,a cascaded network called PAA-MVSNet is designed.Firstly,inspired by the idea of PANet,a “top-down” feature extraction network is designed to extract features at different scales.These features are then concatenated to reduce feature loss.This module outputs three different-scale feature layers,which are fed into the subsequent network to adaptively adjust the depth values and generate higher-precision depth maps.Additionally,to tackle the poor correlation between cost volume,an improved SE attention module is incorporated to optimize the regularization process of the 3D cost volume.This module enhances reconstruction accuracy and completeness.Experimental results on the DTU dataset and Tanks and Temples dataset demonstrate that PAA-MVSNet achieves generalization

中图分类号: 

  • TM391.4