重庆理工大学学报(自然科学) ›› 2022, Vol. 36 ›› Issue (12): 80-91.

• “人工智能理论及其应用研究”专栏 • 上一篇    

基于强化学习的四足机器人牵引运动控制研究

秦建军,孟 圆,曹 钰   

  1. (1.北京建筑大学 机电与车辆工程学院,北京 100044; 2.北京市建筑安全监测工程技术研究中心,北京 100044; 3.中国北方车辆研究所,北京 100072)
  • 发布日期:2023-01-28
  • 作者简介::秦建军,男,博士,教授,主要从事机器人学、智能设计方法、工程教育研究,Email:qinjianjun@bucea.edu.cn;通 讯作者 孟圆,男,硕士研究生,主要从事机器人学、深度强化学习研究,Email:2108020020002@stu.bucea. edu.cn。

  • Published:2023-01-28

摘要: 针对四足机器人在拖拽运动控制中高度依赖于动力学模型精确度的问题,提出一 种基于双延迟深度确定性策略梯度算法(twindelayeddeepdeterministicpolicygradient,TD3)的 四足机器人拖拽运动的控制方法。通过分析四足机器人拖拽模型,建立其拖拽运动的训练环 境;采用 TD3算法搭建四足机器人拖拽运动控制模型,通过 MATLABSimulationR2022的运动 仿真,验证该控制器的可行性,并对实验数据进行对比分析。结果表明:在无拖拽且缺少先验知识 条件下,采用该控制策略达到稳态的时间比采用深度确定性策略梯度算法(deepdeterministicpoli cygradient,DDPG)的控制策略所用训练周期缩短了 2/3;在加载 0.4kg拖拽重物的条件下,该控 制策略下的四足机器人平均速度下降幅度较小,各关节扭矩平稳顺滑,姿态角在可控范围内。

关键词: 深度强化学习;四足机器人;拖拽运动;TD3

中图分类号: 

  • TP242