重庆理工大学学报(自然科学) ›› 2022, Vol. 36 ›› Issue (4): 177-186.

• 信息·计算机 • 上一篇    下一篇

基于 CNN和 BLSTM的连续手语识别

张淑军,王 帅,李 辉   

  1. 青岛科技大学信息科学技术学院
  • 发布日期:2022-05-16
  • 作者简介:张淑军,女,博士,副教授,主要从事计算机视觉和虚拟现实技术研究

  • Published:2022-05-16

摘要: 相对孤立词识别,连续手语识别对上下文的时间依赖性更强、语义更加复杂且时序分割困难,目前的研究在识别精度、背景抗干扰性和抗过拟合能力等方面仍存在不足。为此,提出一种基于CNN和BLSTM的连续手语识别方法,通过自适应视频采样,对输入视频数据进行预处理,去除无关背景的干扰;在CNN空间特征提取的基础上,利用BLSTM双向语义依赖挖掘能力,对连续手语视频进行时序建模,构建CTC损失函数解决时间序列标签对齐问题。该算法在CSL和ConGD数据集上分别取得了98.4%和62.5%的平均识别率。

关键词: 深度学习;连续手语识别;CNN;BLSTM;CTC;

中图分类号: 

  • TP391.41