摘要： 针对传统生成式图像数据增强算法丢失 ３Ｄ属性信息，无法应用于自动驾驶领域 ３Ｄ目标检测任务的问题，提出了一种基于稳定扩散模型的多模态图像生成算法，并基于该算法设计了一种面向 ３Ｄ目标检测的数据增强方法。算法通过增加多模态输入进一步约束图像的生成过程。算法设计了一种多模态特征在线生成模块，在线提取场景描述、语义分布和深度特征等信息；同时针对多模态特征融合网络设计了一种增强型门控自注意力模块，精准地捕捉潜在特征空间中的深度信息，从而保留图像的 ３Ｄ属性信息，实现对图像纹理、颜色以及光照等 ２Ｄ特征的针对性修改。基于算法出色的深度保持特性，将新图像与 ３Ｄ伪标签结合，构成新的图像样本，实现对图像样本的数据增强。在 ｎｕＳｃｅｎｅｓ公开数据集上 ３Ｄ检测结果表明，算法针对公交车、卡车等体积较大类别的 ３Ｄ属性保留效果较好，ＡＰ值分别提高了 １７．２％和 １４．１％，同时 ｍＡＰ提高了 ６．８％，ＮＤＳ提高了 ３．４％。

关键词: 数据增强；稳定扩撒；图像生成；目标检测；特征融合

中图分类号: 

• ＴＰ３９１