重庆理工大学学报（自然科学）

重庆理工大学学报（自然科学） ›› 2021, Vol. 35 ›› Issue (2): 144-151.doi: 10.3969/j.issn.1674-8425(z).2021.02.019

• 信息·计算机 • 上一篇    下一篇

基于DTW和CNN的仿真驾驶手势识别及交互

杨尊俭,张淑军   

  1. 青岛科技大学信息科学技术学院,山东青岛 266061
  • 收稿日期:2019-11-06 出版日期:2021-03-22 发布日期:2021-03-22
  • 作者简介:杨尊俭,男,硕士研究生,主要从事计算机视觉?虚拟现实研究,E-mail:469721590@qq.com;通讯作者张淑军,女,博士,副教授,主要从事计算机视觉?虚拟现实研究,E-mail:zhangsj@qust.edu.cn?
  • 基金资助:
    山东省重点研发计划项目(2017GGX10127)

  • Received:2019-11-06 Online:2021-03-22 Published:2021-03-22

PDF (PC)

304

赞

摘要： 研究仿真驾驶中的手势识别及自动交互,利用Kinect空间编码技术提取人体运动关节信息,采用DTW与深度学习相结合的方法进行手势识别?提出了一种加权的DTW 算法,对提取的骨架信息进行分析,实现对连续手势实时的粗粒度识别;对手部信息,通过关节点计算提取ROI,利用7层CNN网络对ROI信息进行特征提取并得到手部行为的细粒度识别?利用Unity3D对驾驶场景进行仿真,虚拟环境与用户手势实时交互,实验结果真实有效?

关键词: 手势识别∣虚实交互∣深度学习∣动态时间规整

中图分类号: 

  • TP391.4