重庆理工大学学报（自然科学） ›› 2020, Vol. 34 ›› Issue (5): 187-195.doi: 10.3969/j.issn.1674-8425(z).2020.05.024
王 勇,何养明,陈荟西,黎 春
摘要： 传统的卷积神经网络分类模型（ＣＮＮ）的输出层采用扁平式架构的标准Ｓｏｆｔｍａｘ，在数据量较大、类别较多的文本分类任务中计算复杂度高，训练耗时长；而基于霍夫曼树（Ｈｕｆｆｍａｎｔｒｅｅ）构建的改进算法———层次Ｓｏｆｔｍａｘ（ｈｉｅｒａｒｃｈｉｃａｌｓｏｆｔｍａｘ，Ｈ-Ｓｏｆｔｍａｘ）能极大地提高训练速度，但由于加入了大量的节点参数，使得优化难度增加，优化需要更长的迭代步，且容易过拟合，继而影响模型的拟合速度和分类效果。为此，提出了改进算法模型ＲＨＳ-ＣＮＮ（ｒｅｇｕｌａｒｉｚａｔｉｏｎｈｉｅｒａｒｃｈｉｃａｌｓｏｆｔｍａｘＣＮＮ），采用正则化的方法，对Ｈ-Ｓｏｆｔｍａｘ的节点参数进行约束，避免过拟合，增强模型的泛化能力。实验分析结果表明：所提出的方法在相应评价指标上相对Ｓｏｆｔｍａｘ、Ｈ-Ｓｏｆｔｍａｘ有着一定的提升。
中图分类号:
主管单位：重庆市教育委员会