重庆理工大学学报（自然科学）

重庆理工大学学报（自然科学） ›› 2021, Vol. 35 ›› Issue (7): 139-145.doi: 10.3969/j.issn.1674-8425(z).2021.07.017

• 智能技术 • 上一篇    下一篇

一种改进的分布式同步梯度下降法

李 梁，王 也，朱小飞   

  1. 重庆理工大学 计算机科学与工程学院，重庆 ４０００５４
  • 收稿日期:2019-10-08 发布日期:2021-08-11
  • 作者简介:李梁，男，副教授，主要从事数据库技术及应用、财务信息化、软件工程及应用研究，Ｅｍａｉｌ：ｌｉｌｉａｎｇ＠ｃｑｕｔ．ｅｄｕ． ｃｎ；通讯作者 王也，硕士研究生，主要从事深度学习研究，Ｅｍａｉｌ：ｗｙ１１１９７４４３３０＠ｏｕｔｌｏｏｋ．ｃｏｍ。

  • Received:2019-10-08 Published:2021-08-11

PDF (PC)

307

赞

摘要： 在深度学习领域中，模型的训练往往非常耗时，尤其是当模型较复杂时，分布式训 练则是解决这个问题的一个主要方式。以往的案例中，用分布式训练神经网络能够得到非常好 的加速效果，是因为采用了异步梯度下降法，但是这样会导致准确率下降。也有用同步梯度下 降法来提升训练的准确率，但由于实际分布式的异构集群中各个计算节点的算力差距，会出现 计算节点空闲等待的现象，使得模型的训练耗时十分不理想。采取改进同步梯度下降方法，通 过设计新的样本分配机制，充分利用各个工作节点来加速模型训练。实验结果证明：所采取的 方法在不降低准确率的情况下能够加快模型的训练速度。

关键词: 深度学习, 模型训练, 分布式, 梯度下降

中图分类号: 

  • TP18