重庆理工大学学报（自然科学） ›› 2022, Vol. 36 ›› Issue (1): 120-127.
帖 云１，程慧杰１，靳 聪２，李小兵３，齐 林１
摘要： 传统的视频情感识别工作主要集中在面部表情、人体的动作行为等，忽略了场景和对象中包含大量的情感线索及不同对象之间的情感关联。因此，提出了一个基于视觉关系推理 和跨模态信息学习的音视频特征融合网络模型用于预测视频情感。模型主要包括三部分：对象 间的情感关系推理、声学特征提取、跨模态交互融合。首先，采用MaskR-CNN模型提取出包 含物体的区域并提取出相应的特征序列，利用图注意力网络对视频帧中的不同区域之间的情感关联进行推理，找到视频帧中的关键区域；然后，利用双向长短时记忆网络提取对数梅尔频谱片段的帧级上下文信息，对视觉信息进行补充；最后，将多头注意力机制应用到跨模态交互融合模 块中去学习不同模态信息之间的隐藏关联，并将利用跨模态注意得到的音视频特征利用门控神 经网络进行融合。所提出的模型在数据集VideoEmotion8和Ekman上具有较好的精确度。
中图分类号:
主管单位：重庆市教育委员会