摘要： 情绪识别在人机互动中具有重要作用，针对传统手工特征提取精度高但泛化能力 低和使用一种模态情绪识别结果不可靠的问题，通过充分利用脑电信号的空间和时间信息，异 构脑电和眼动 ２种模态，基于卷积神经网络和胶囊网络，提出一种双模态情绪识别模型 ＣＣａｐｓＮｅｔ。在 ＳＥＥＤＩＶ多模态数据集上进行实验：使用 ５ｆｏｌｄ交叉验证方法研究共享矩阵初始 化方法、迭代次数和学习率对于 ＣＣａｐｓＮｅｔ在 Ｖａｌｅｎｃｅ和 Ａｒｏｕｓａｌ两个维度的平均识别率影响； 使用 ＬＯＯ交叉验证方法得到该模型的 Ｖａｌｅｎｃｅ和 Ａｒｏｕｓａｌ最高准确率分别为 ９１５％和 ９２４％， 优于其他类似研究的情绪识别模型。

关键词: 情绪识别；脑电；眼动；胶囊网络

中图分类号: 

• TP391.4