摘要： 针对自动化立体仓库出库作业过程中剩余货物退库问题，以堆垛机作业总能耗最 小化为目标，以退库货位分配为决策变量，建立了自动化立体仓库退库货位优化模型，提出了基 于深度强化学习的自动化立体仓库退库货位优化框架。在该框架内，以立体仓库实时存储信息 和出库作业信息构建多维状态，以退库货位选择构建动作，建立自动化立体仓库退库货位优化 的马尔科夫决策过程模型；将立体仓库多维状态特征输入双层决斗网络，采用决斗双重深度 Ｑ 网络（ｄｕｅｌｉｎｇｄｏｕｂｌｅｄｅｅｐＱｎｅｔｗｏｒｋ，Ｄ３ＱＮ）算法训练网络模型并预测退库动作目标价值，以确 定智能体的最优行为策略。实验结果表明 Ｄ３ＱＮ算法在求解大规模退库货位优化问题上具有 较好的稳定性

关键词: 自动化立体仓库；退库货位优化；深度强化学习；Ｄ３ＱＮ

中图分类号: 

• ＴＰ１８