重庆理工大学学报(自然科学) ›› 2024, Vol. 38 ›› Issue (6): 242-249.

• 电气电子 • 上一篇    

一种基于残差 MLP 的多模态点云分类网络

舒 军,李奕阳,杨 莉,张 杰   

  1. 1.湖北工业大学 太阳能高效利用及储能运行控制湖北省重点实验室,武汉 430068; 2.湖北第二师范学院 计算机学院,武汉 430205; 3.武汉东湖学院 机电工程学院,武汉 430212
  • 发布日期:2024-07-29
  • 作者简介:舒军,男,博士,副教授,主要从事计算机视觉研究,Email:12382794@qq.com;通信作者 张杰,男,主要从事智能制 造工程研究,Email:1280516420@qq.com。

  • Published:2024-07-29

摘要: 针对 PCT等先进点云算法存在模态单一 、特征提取器复杂、参数量大、计算效率低等问题,提出一种精简快速的多模态点云分类网络 ResCLIP。将 ResMLPPC与 CLIP结合,通过学习多模态信息提高主干网络性能和迁移学习能力,使用残差 MLP提高算法效率;将仿射变换模块融入主干网络提高算法精度。排水管道缺陷数据集实验结果表明:与 PCT等算法相比,ResMLPPC算法的精确率、召回率均有提升,且参数量减少近 50%,检测速度提升 23%。ZeroShot实验结果表明:与现有多模态点云网络相比,ResCLIP算法在 2类公开数据集上的 ZeroShot精度均较优, 比 ULIP相比分别提升 4.6%、0.5%。

关键词: 3D点云;多模态;MLP;管道缺陷

中图分类号: 

  • TP391