[1]郝高峰,付 庄,郑 辉.基于DQN的自动驾驶机器人速度跟踪控制[J].机械与电子,2020,(09):50-53.
　,Vehicle Speed Tracking Control with a Robotic DriverBased on Deep Q-Network [J].Machinery & Electronics,2020,(09):50-53.
点击复制

基于DQN的自动驾驶机器人速度跟踪控制()
分享到：

机械与电子[ISSN:1001-2257/CN:52-1052/TH]

卷:
期数:
2020年09期
页码:
50-53
栏目:
自动控制与检测
出版日期:
2020-09-21

文章信息/Info

Title:

Vehicle Speed Tracking Control with a Robotic Driver B ased on Deep Q-Network

文章编号:
1001-2257(2020)09-0050-04
作者:
郝高峰; 付 庄; 郑 辉
上海交通大学机械系统与振动国家重点实验室,上海 200240
Author(s):
ＨＡ Ｏ Ｇａｏｆｅｎｇ ;  ＦＵ Ｚｈｕａｎｇ ;  ＺＨＥＮ Ｇ Ｈｕｉ
 Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｍ ｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ ａｎｄ Ｖｉｂｒａｔｉｏｎ ， Ｓｈａｎｇｈａｉ Ｊｉａｏ Ｔｏｎｇ Ｕ ｎｉｖｅｒｓｉｔｙ ， Ｓｈａｎｇｈａｉ ２００２４０ ， Ｃｈｉｎａ
关键词:
自 动 驾 驶 机 器 人 ; 强 化 学 习 ; 车 速 跟 踪 控 制
Keywords:
robotic driver; DQN; vehicle speed tracking control
分类号:
Ｔ Ｐ２４２ .６
文献标志码:
A
摘要:
由 于 汽 车 传 动 模 型 的 复 杂 性 、延 迟 性 和 踏 板 的 死 区 特 性 ，现 有 的 基 于 传 统 控 制 理 论 和 车 辆 模 型的 方 法 很 难 达 到 理 想 的 控 制 效 果 。 为 解 决 这 个 问 题 ，构 建 了 一 种 基 于Ｄ Ｑ Ｎ的 速 度 跟 踪 算 法 ，基 于 马 尔 可 夫性 设 计 了 状 态 空 间 、动 作 空 间 ，并 根 据 超 差 规 则 设 计 奖 赏 函 数 。 通 过 批 量 真 车 转 鼓 试 验 对 所 建 立 的 速 度 跟踪 算 法 进 行 了 验 证 ，结 果 表 明 ：算 法 模 型 可 有 效 控 制 踏 板 进 行 速 度 跟 踪 ；从 零 开 始 ，只 需 ４ ～ ５ 轮 训 练 即 可 满足 超 差 数 要 求 ；与 基 于 传 统 控 制 理 论 的 方 案 相 比 ，具 有 超 差 数 更 少 、速 度 更 平 稳 、无 需 专 业 人 员 调 试 等 优 势 。
Abstract:
With the complexity and delay of the vehicle transmission model and the dead zone of the pedal, The existing control methods based on traditional control theory and vehicle model are difficult to achieve the ideal control effect. To solve this problem, a vehicle speed tracking algorithm based on Deep Q-Network (DQN) is constructed, state space and action space are designed based on Markov property, and reward function is designed according to out-of-tolerance rules. Experiments are conducted on dozens of cars, and results show that established algorithm can effectively control the robotic driver for speed tracking. From scratch, it only needs 4～5 episodes of training to meet the requirements. Compared with classic control methods, the proposed method has a smoother speed and fewer speed errors, and does not require experts’ tuning.

参考文献/References:

［ １ ］ 　Ｓ Ｈ Ｏ Ｖ Ａ Ｌ Ｓ ， Ｚ Ｙ Ｂ Ｕ Ｒ Ｔ Ｊ Ｐ ， Ｇ ＲＩ Ｍ Ａ Ｕ Ｄ Ｏ Ｄ Ｗ ．Ｒｏｂｏｔ ｄｒｉｖｅｒ ｆｏｒ ｇｕｉｄａｎｃｅ ｏｆ ａｕｔｏ ｍａｔｉｃ ｄｕｒａｂｉｌｉｔｙ ｒｏａｄ （ Ａ Ｄ Ｒ ）ｔｅｓｔ ｖｅｈｉｃｌｅｓ ［ Ｃ ］／／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９８ ＩＥ Ｅ Ｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａ ｕｔｏ ｍａｔｉｏｎ ．Ｎｅｗ
Ｙｏｒｋ ： ＩＥ Ｅ Ｅ ， １９９８ ， ２ ： １７６７- １７７２ ．
［ ２ ］ 　 环 境 保 护 部 ．轻 型 汽 车 污 染 物 排 放 限 值 及 测 量 方 法 ：中国 第 六 阶 段 ：Ｇ Ｂ １８３５２ ．６ — ２０１６ ［Ｓ ］ ． 北 京 ：中 国 环 境 出版 社 ， ２０１７ ．
［ ３ ］ 　Ｃ Ｈ Ｅ Ｎ Ｇ ， Ｚ Ｈ Ａ Ｎ Ｇ Ｗ Ｇ ．Ｈｉｅｒａｒｃｈｉｃａｌ ｃｏｏｒｄｉｎａｔｅｄ ｃｏｎｔｒｏｌ ｍｅｔｈｏｄ ｆｏｒ ｕｎ ｍａｎｎｅｄ ｒｏｂｏｔ ａｐｐｌｉｅｄ ｔｏ ａｕｔｏ ｍ ｏｔｉｖｅｔｅｓｔ ［ Ｊ ］ ．ＩＥ Ｅ Ｅ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｄｕｓｔｒｉａｌ ｅｌｅｃｔｒｏｎｉｃｓ ，２０１６ ， ６３ （ ２ ）： １０３９- １０５１ ．
［ ４ ］ 　 陈 刚 ，张 为 公 ，龚 宗 洋 ，等 ． 汽 车 驾 驶 机 器 人 多 机 械手 协 调 控 制 研 究 ［ Ｊ ］ ． 仪 器 仪 表 学 报 ， ２００９ ， ３０ （ ９ ）：１８３６- １８４０ ．
［ ５ ］ 　ＭＩＺ Ｕ ＴＡ ＮＩ Ｎ ， ＩＳ ＨＩＤ Ａ Ｙ ， Ｍ ＡＴＳ ＵＩ Ｈ ， ｅｔ ａｌ．Ａｕｔｏｍａｔｉｃ ｄｒｉｖｉｎｇ ｃｏｎｔｒｏｌ ｂｙ ｒｏｂｏｔｉｃ ｄｒｉｖｅｒ ｃｏｎｓｉｄｅｒｉｎｇ ｔｈｅ ｌａｃｋ ｏｆ ａ ｄｒｉｖｉｎｇ ｆｏｒｃｅ ａｔ ｃｈａｎｇｉｎｇ ｇｅａｒｓ ［ Ｃ ］／／ ２０１６ ＩＥＥＥ ／ ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ．Ｎｅｗ Ｙｏｒｋｓ ： ＩＥＥＥ ， ２０１６ ： ３０７５- ３０８０ ．
［ ６ ］ 　Ｚ Ｈ Ｕ Ｙ Ｈ ， Ｆ Ｕ Ｚ Ｙ ， Ｆ Ｕ Ｚ ， ｅｔ ａｌ．Ｍ ｕｌｔｉｆｅａｔｕｒｅｓ ｆｕｓｉｏｎ ｆｏｒ ｆａｕｌｔ ｄｉａｇｎｏｓｉｓ ｏｆ ｐｅｄａｌ ｒｏｂｏｔ ｕｓｉｎｇ ｔｉｍｅ ｓｐｅｅｄ ｓｉｇｎａｌｓ ［ Ｊ ］ ．Ｓｅｎｓｏｒｓ ， ２０１９ ， １９ （ １ ）： １６３-
 １７７ ．
［ ７ ］ 　Ｓ Ｕ Ｔ Ｔ Ｏ Ｎ Ｒ Ｓ ， Ｂ Ａ Ｒ Ｔ Ｏ Ａ Ｇ ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ：ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ
 ［ Ｍ ］ ．Ｃａｍ ｂｒｉｄｇｅ ： Ｍ ＩＴ Ｐｒｅｓｓ ， ２０１８ ．
［ ８ ］ 　Ｗ Ａ Ｔ ＫＩＮ Ｓ Ｃ Ｊ Ｃ Ｈ ， Ｄ Ａ Ｙ Ａ Ｎ Ｐ ．Ｑｌｅａｒｎｉｎｇ ［ Ｊ ］ ．Ｍ ａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ， １９９２ ， ８ （ ３ ）： ２７９-２９２ ．
［ ９ ］ 　Ｂ Ｅ Ｌ Ｌ Ｍ Ａ Ｎ Ｒ ．Ｏ ｎ ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｄｙｎａｍｉｃ ｐｒｏｇｒａｍ ｍｉｎｇ［ Ｊ ］ ．Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆ ｔｈｅ ｎａｔｉｏｎａｌ ａｃａｄｅｍ ｙ ｏｆ ｓｃｉｅｎｃｅｓ ｏｆ ｔｈｅ Ｕ ｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａ ｍｅｒｉｃａ ， １９５２ ， ３８ （ ８ ）： ７１６- ７１９ ．
［ １０ ］ 　Ｍ ＮＩＨ Ｖ ， Ｋ Ａ Ｖ Ｕ Ｋ Ｃ Ｕ Ｏ Ｇ Ｌ Ｕ Ｋ ， ＳＩＬ Ｖ Ｅ Ｒ Ｄ ， ｅｔ ａｌ．Ｐｌａｙｉｎｇ ａｔａｒｉ ｗｉｔｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ［ Ｊ ／Ｏ Ｌ ］ ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ， ２０１３ ［ ２０２０- ０５- １８ ］ ．ｈｔｔｐｓ ：／／ａｒｘｉｖ ．ｏｒｇ ／ ａｂｓ ／ １３１２ ．５６０２ ．
［ １１ ］ 　Ｍ ＮＩＨ Ｖ ， Ｋ Ａ Ｖ Ｕ Ｋ Ｃ Ｕ Ｏ Ｇ Ｌ Ｕ Ｋ ， ＳＩＬ Ｖ Ｅ Ｒ Ｄ ， ｅｔ ａｌ．Ｈ ｕ ｍａｎ ｌｅｖｅｌ ｃｏｎｔｒｏｌ ｔｈｒｏｕｇｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ［ Ｊ ］ ．Ｎａｔｕｒｅ ， ２０１５， ５１８ ： ５２９-５３３ ．
［ １２ ］ 　ＩＯ ＦＦ Ｅ Ｓ ， ＳＺＥ Ｇ Ｅ Ｄ Ｙ Ｃ ．Ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ： Ａｃｃｅｌｅｒａｔｉｎｇ ｄｅｅｐ ｎｅｔｗｏｒｋ ｔｒａｉｎｉｎｇ ｂｙ ｒｅｄｕｃｉｎｇ ｉｎｔｅｒｎａｌ ｃｏｖａｒｉａｔｅ ｓｈｉｆｔ ［ Ｊ ／ Ｏ Ｌ ］ ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ， ２０１５ ［ ２０２０-０５- １８ ］ ．ｈｔｔｐｓ ：／／ ａｒｘｉｖ ．ｏｒｇ ／ ａｂｓ ／ １５０２ ．０３１６７ ．

备注/Memo

备注/Memo:
收 稿 日 期 ： ２０２０-０６- ０３
基 金 项 目 ：国 家 自 然 科 学 基 金 资 助 项 目 （ ６１９７３２１０ ）；上 海 市 科 学 技 术 委 员 会 研 究 项 目 （ １７４４１９０１０００ ）
作 者 简 介 ：郝 高 峰   （ １９９３ － ），男 ，安 徽 安 庆 人 ，硕 士 研 究 生 ，研 究 方 向 为 强 化 学 习 和 机 器 人 ；付 　 庄 　 （ １９７２ － ），男 ，山 东 招 远 人 ，教 授 ，研究 方 向 为 特 种 机 器 人 与 控 制 系 统 。
更新日期/Last Update: 2020-09-21