[1]龚宇平,李金瑾,卿柏元,等.基于改进深度确定性策略梯度算法的智能装卸机械设备控制方法[J].机械与电子,2024,42(12):43-48.
　GONG Yuping,LI Jinjin,QING Baiyuan,et al.A Control Method for Intelligent Loading and Unloading Machinery Equipment Based on Improved Deep Deterministic Strategy Gradient Algorithm[J].Machinery & Electronics,2024,42(12):43-48.
点击复制

基于改进深度确定性策略梯度算法的智能装卸机械设备控制方法()
分享到：

《机械与电子》[ISSN:1001-2257/CN:52-1052/TH]

卷:
42
期数:
2024年12期
页码:
43-48
栏目:
智能制造
出版日期:
2024-12-24

文章信息/Info

Title:
A Control Method for Intelligent Loading and Unloading Machinery Equipment Based on Improved Deep Deterministic Strategy Gradient Algorithm
文章编号:
1001-2257 ( 2024 ) 12-0043-06
作者:
龚宇平; 李金瑾; 卿柏元; 潘学华
广西电网有限责任公司计量中心,广西 南宁 530024
Author(s):
GONG Yuping ;  LI Jinjin ;  QING Baiyuan ;  PAN Xuehua
( Measurement Center of Guangxi Power Grid Co. , Ltd. , Nanning 530024 , China )
关键词:
改进深度确定性策略梯度算法; 智能装卸机械设备; 运动学模型; 控制方法
Keywords:
improved deep deterministic strategy gradient algorithm ;  intelligent loading and unloading machinery equipment ;  kinematic model ;  control methods
分类号:
TP241
文献标志码:
A
摘要:
由于机械臂作业环境具有高度的非线性、时变性和不确定性,导致机械臂动态行为较为复杂,传统控制方法在进行控制过程中经常出现关节位置角度误差大、稳定性差的问题,提出基于改进深度确定性策略梯度( DDPG )的控制方法。首先,建立智能装卸机械设备运动学模型;其次,基于 DDPG 算法建立装卸动作控制模型;再次,利用演员( Actor )网络(策略网络)和评论者( Critic )网络(价值网络)来改进 DDPG 中的装卸动作控制过程;最后,优化奖励函数,对 Actor 网络和 Critic 网络进行训练,实现装卸机械设备控制。实验结果表明,智能装卸机械设备实际运动轨迹与期望轨迹非常重合和接近,关节位置误差始终低于 5.0 cm ,姿态角误差始终低于 1.00° ,能够对关节位置和姿态角进行有效控制,所提改进 DDPG 算法的控制效果较好。
Abstract:
Due to the highly nonlinear , time-varying , and uncertain working environment of robotic arms , their dynamic behavior is complex.Traditional control methods often encounter problems such as large joint position angle errors and poor stability during the control process.Therefore , a control method based on the improved Deep Deterministic Policy Gradient ( DDPG ) is proposed.Firstly , a kinematic model of intelligent loading and unloading machinery equipment is established ; secondly , a loading and unloading action control model based on the DDPG algorithm is established ; thirdly , u the Actor network ( strategy network ) and Critic network ( value network ) are used to improve the loading and unloading action control process in DDPG ; finally , the reward function is optimized to train the Actor network and Critic network. and achieve loading and unloading machinery equipment control.The experimental results show that the actual motion trajectory of intelligent loading and unloading machinery equipment is very close to the expected trajectory , and the joint position error is always less than 5.0 cm , and the attitude angle error is always less than 1.00°.This can effectively control the joint position and attitude angle.The proposed improved DDPG algorithm has a good control effect.

参考文献/References:

[ 1 ] 樊帆,郑皓,史浩东,等 . 深水清淤机械臂阀控液压油缸的加速干扰自适应滑模控制方法[ J ] . 哈尔滨工程大学学报,2023 , 44 ( 10 ): 1849-1856.

[ 2 ] 冯适意,刘吉晓,李洋,等 . 基于关节优先级的冗余机械臂柔顺控制方法[ J ] . 机床与液压, 2023 , 51 ( 4 ): 15-22.
[ 3 ] SUN Y F.Automatic vibration control method for grasping end of flexible joint robot [ J ] .Journal of vibroengineering , 2023 , 25 ( 8 ):1502-1515.
[ 4 ] SACHAN S , SWARNKAR P.Intelligent fractional order sliding mode based control for surgical robot manipulator [ J ] .Electronics , 2023 , 12 ( 3 ): 729.
[ 5 ] 黄晨静,张蕾,孙逊,等 . 基于动力学模型的面料抓取机械臂轨迹跟踪控制方法[J ] . 纺织学报, 2023 , 44 ( 6 ):207-214.
[ 6 ] 文闻,周元子,周晓东,等 . 基于深度强化学习的空间机械臂柔顺捕获控制方法研究[ J ] . 空间控制技术与应用,2022 , 48 ( 1 ): 1-8.
[ 7 ] 李林安,程敏,丁孺琦,等 . 面向混联液压机械臂的高精度运动控制方法[ J ] . 西安交通大学学报, 2023 , 57 ( 6 ):95-104.
[ 8 ] 刘胜遂,李利娜,熊晓燕,等 . 基于卡尔曼滤波的机器人自适应控制方法研究[ J ] . 机电工程, 2023 , 40 ( 6 ): 936-944.
[ 9 ] 李星星 . 基于隶属函数的多机械臂系统协调控制方法[ J ] . 制造业自动化, 2022 , 44 ( 2 ): 179-182.
[ 10 ] 戚毅凡,贾英宏,赵宝山,等 . 基于改进神经网络的空间机械臂阻抗控制方法 [ J ] . 中国空间科学技术,2022 , 42 ( 2 ): 82-90.
[ 11 ] 卜雷 . 生产线机械制造设备机械臂自动化控制方法[ J ] .制造业自动化,2022 , 44 ( 1 ): 198-201.
[ 12 ] 陈钢,黄泽远,江涛,等 . 多臂空间机器人稳定抓取力分配和柔顺控制策略[ J ] . 控制与决策, 2024 , 39 ( 1 ):112-120.
[ 13 ] 赵寅甫,冯正勇 . 基于深度强化学习的机械臂控制快速训练方法[ J ] . 计算机工程, 2022 , 48 ( 8 ): 113-120.
[ 14 ] 李瑜,张占强,孟克其劳,等 . 基于改进深度确定性策略梯度算法的微电网能量优化调度[ J ] . 电子测量技术,2023 , 46 ( 2 ): 73-80.
[ 15 ] 顾雪平,刘彤,李少岩,等 . 基于改进双延迟深度确定性策略梯度算法的电网有功安全校正控制[ J ] . 电工技术学报,2023 , 38 ( 8 ): 2162-2177.
[ 16 ] 孟晨阳,郝崇清,李冉,等 . 基于改进 DDPG 算法的复杂环境下 AGV 路径规划方法研究[ J ] . 计算机应用研究,2022 , 39 ( 3 ): 681-687.

备注/Memo

备注/Memo:
收稿日期: 2024-02-02
基金项目:广西电网公司科技项目( 044400KK52230001 )
作者简介:龚宇平 ( 1991- ),女,广西浦北人,学士,工程师,研究方向为电能计量;李金瑾 ( 1987- ),男,广西玉林人,硕士,高级工程师,研究方向为工业工程,通信作者;卿柏元 ( 1982- ),男,湖南邵阳人,硕士,高级工程师,研究方向为计量设备智能化仓储和检测;潘学华 ( 1980- ),女,四川绵阳人,硕士,高级工程师,研究方向为电能计量。
更新日期/Last Update: 2025-01-13