基于深度强化学习的混合动力汽车智能跟车控制与能量管理策略研究

doi:10.3901/JME.2021.22.237

机械工程学报 ›› 2021, Vol. 57 ›› Issue (22): 237-246.doi: 10.3901/JME.2021.22.237

扫码分享

基于深度强化学习的混合动力汽车智能跟车控制与能量管理策略研究

唐小林¹, 陈佳信¹, 刘腾², 李佳承¹, 胡晓松¹

1. 重庆大学汽车工程学院重庆 400044;
2. 滑铁卢大学机械与机电学院滑铁卢 ON N2L 3G1 加拿大

收稿日期:2020-11-02 修回日期:2021-05-20 出版日期:2021-11-20 发布日期:2022-02-28
通讯作者: 胡晓松(通信作者),男,1983年出生,博士,教授。主要研究方向为电动汽车电池管理技术、机电复合动力传动系统优化与控制。E-mail:xiaosonghu@ieee.org
作者简介:唐小林,男,1984年出生,博士,副教授,博士研究生导师。主要研究方向为混合动力汽车NVH与能量管理。E-mail:tangxl0923@cqu.edu.cn;陈佳信,男,1996年出生,硕士研究生。主要研究方向为混合动力汽车能量管理与深度强化学习。E-mail:201932132050@cqu.edu.cn
基金资助:
国家自然科学基金（52072051）、汽车测控与安全四川省重点实验室（QCCK2020-006）和重庆市自然科学基金（cstc2020jcyj-msxmX0956）资助项目。

Research on Deep Reinforcement Learning-based Intelligent Car-following Control and Energy Management Strategy for Hybrid Electric Vehicles

TANG Xiaolin¹, CHEN Jiaxin¹, LIU Teng², LI Jiacheng¹, HU Xiaosong¹

1. School of Automotive Engineering, Chongqing University, Chongqing 400044;
2. Mechanical and Mechatronics Engineering, University of Waterloo, Waterloo ON N2L 3G1, Canada

Received:2020-11-02 Revised:2021-05-20 Online:2021-11-20 Published:2022-02-28

摘要/Abstract

摘要： 以研究智能混合动力汽车控制技术与深度强化学习算法为目标，首先，在两辆混合动力汽车的跟驰环境中，针对领航车提出一种基于深度值网络算法的能量管理策略，实现深度强化学习对发动机与机械式无级变速器的多目标协同控制；其次，针对跟随车建立基于深度强化学习的分层控制模型，实现面向智能混合动力汽车的上层跟车控制与下层能量管理；最后，仿真验证分层控制模型的有效性。结果表明，基于深度强化学习的跟车控制策略具有理想的跟踪性能；同时，基于深度强化学习的能量管理策略在领航车与跟随车中均实现了较好的燃油经济性；此外，基于深度强化学习的能量管理策略输出每组控制动作的平均时间为1.66 ms，保证了实时应用的潜力。

关键词: 混合动力汽车, 深度强化学习, 跟车控制, 能量管理

Abstract: Limited by the cost, high-speed on-off valves are often used in the electro-hydraulic braking system. However, the knocking noise of the solenoid valve, hydraulic impact noise and pressure fluctuation in the switch control of the hydraulic valve lead to the quality and precision of brake control to deteriorate. Therefore, the key to the design of the high-speed on-off valve is to realize the linearization by pulse width modulation (PWM) control. The dynamic characteristics of high-speed on-off valve are affected by transient flow force, nonlinear electromagnetic force, mechanical inertia and spring force. Therefore, the dynamic model and joint simulation model of high-speed on-off valve and hydraulic control unit (HCU) are established. Through simulation and experimental verification, the influence of structural parameters such as poppet angle, orifice diameter, air gap size on the linear characteristics of solenoid valve is analyzed. The reasonable structure parameters of the solenoid valve are designed and applied to a hydraulic control circuit to widen the linear working range and meet the requirements of automobile braking safety control.

Key words: hybrid electric vehicle, deep reinforcement learning, car-following control, energy management

中图分类号:

U461

唐小林, 陈佳信, 刘腾, 李佳承, 胡晓松. 基于深度强化学习的混合动力汽车智能跟车控制与能量管理策略研究[J]. 机械工程学报, 2021, 57(22): 237-246.

TANG Xiaolin, CHEN Jiaxin, LIU Teng, LI Jiacheng, HU Xiaosong. Research on Deep Reinforcement Learning-based Intelligent Car-following Control and Energy Management Strategy for Hybrid Electric Vehicles[J]. Journal of Mechanical Engineering, 2021, 57(22): 237-246.

参考文献

[1] 李克强, 戴一凡, 李升波, 等. 智能网联汽车(ICV)技术的发展现状及趋势[J]. 汽车安全与节能学报, 2017, 8(1):1-14. LI Keqiang, DAI Yifan, LI Shengbo, et al. State-of-the-art and technical trends of intelligent and connected vehicles[J]. Journal of Automotive Safety and Energy, 2017, 8(1):1-14.
[2] 欧阳明高. 中国新能源汽车的研发及展望[J]. 科技导报, 2016, 34(6):13-20. OUYANG Minggao. New energy vehicle research and development in China[J]. Science and Technology Review, 2016, 34(6):13-20.
[3] TRAN D D, VAFAEIPOUR M, EL BAGHDADI M, et al. Thorough state-of-the-art analysis of electric and hybrid vehicle powertrains:Topologies and integrated energy management strategies[J]. Renew. Sust. Energ. Rev., 2020, 119.
[4] 张风奇, 胡晓松, 许康辉, 等. 混合动力汽车模型预测能量管理研究现状与展望[J]. 机械工程学报, 2019, 55(10):86-108. ZHANG Fengqi, HU Xiaosong, XU Kanghui, et al. Current status and prospects for model predictive energy management in hybrid electric vehicles[J]. Journal of Mechanical Engineering, 2019, 55(10):86-108.
[5] 唐小林, 李珊珊, 王红, 等. 网联环境下基于分层式模型预测控制的车队能量控制策略研究[J]. 机械工程学报, 2020, 56(14):119-128. TANG Xiaolin, LI Shanshan, WANG Hong, et al. Research on energy control strategy based on hierarchical model predictive control in connected environment[J]. Journal of Mechanical Engineering, 2020, 56(14):119-128.
[6] SILVER D, HUANG A, MADDISDN C, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587):484-489.
[7] SILVER D, SCHRITTWIESER J, SIMONYAN K, et al. Mastering the game of Go without human knowledge[J]. Nature, 2017, 550(7676):354-359.
[8] LIU T, HU X S, LI S B, et al. Reinforcement learning optimized look-ahead energy management of a parallel hybrid electric vehicle[J]. IEEE-ASME T. Mech. 2017, 22(4):1497-1507.
[9] TAN H C, ZHANG H L, PENG J K, et al. Energy management of hybrid electric bus based on deep reinforcement learning in continuous state and action space[J]. Energ. Convers. Manage., 2019(195):548-560.
[10] VOLODYMYR M, KORAY K, DAVID S, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540):529-533.
[11] WU J D, HE H W, PENG J K. Continuous reinforcement learning of energy management with deep Q network for a power split hybrid electric bus[J]. Appl. Energ., 2018(222):799-811.
[12] LI Y C, HE H W, PENG J K, et al. Energy management strategy for a series hybrid electric vehicle using improved deep Q-network learning algorithm with prioritized replay[C/CD]//DEStech Transactions on Environment, Energy and Earth Sciences, 2018.
[13] HAN X F, HE H W, WU J D. Energy management based on reinforcement learning with double deep Q-learning for a hybrid electric tracked vehicle[J]. Appl. Energ., 2019(254):113708.
[14] 赵星宇, 丁世飞. 深度强化学习研究综述[J]. 计算机科学, 2018, 45(7):1-6. ZHAO Xingyu, DING Shifei. Research on deep reinforcement learning[J]. Computer Science, 2018, 45(7):1-6.
[15] 刘腾. 混合动力车辆强化学习能量管理研究[D]. 北京:北京理工大学, 2017. LIU Teng. Reinforcement learning-based energy management for hybrid electric vehicles[D]. Beijing:Beijing Institute of Technology, 2017.
[16] 胡悦. 混合动力电动汽车控制系统设计与能量管理策略研究[D]. 北京:中国科学院大学(中国科学院深圳先进技术研究院), 2018. HU Yue. Research on control system design and energy management strategy of hybrid electric vehicle[D]. Beijing:University of Chinese Academy of Sciences(Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences), 2018.

基于深度强化学习的混合动力汽车智能跟车控制与能量管理策略研究

Research on Deep Reinforcement Learning-based Intelligent Car-following Control and Energy Management Strategy for Hybrid Electric Vehicles

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	王无印, 黄子钊, 庄子龙, 方怀瑾, 秦威. 基于深度强化学习的自动化码头堆场场桥调度方法[J]. 机械工程学报, 2024, 60(6): 44-57.
[2]	高凯, 罗攀, 谢进, 胡林, 陈彬, 杜荣华. 基于数据融合的混合动力汽车速度轮廓预测[J]. 机械工程学报, 2024, 60(6): 342-353.
[3]	郭景华, 李文昌, 王班, 王靖瑶. 基于深度强化学习的网联混合动力汽车队列控制[J]. 机械工程学报, 2024, 60(2): 262-271.
[4]	魏小栋, 孙超, 刘波, 霍为炜, 任强, 孙逢春. 燃料电池汽车车速与能量联合优化[J]. 机械工程学报, 2023, 59(8): 204-212.
[5]	张利鹏, 王子健, 任长安, 樊小建. 混合动力汽车增速离合器创新设计与应用研究[J]. 机械工程学报, 2023, 59(8): 253-263.
[6]	高锋阳, 张浩然. 氢燃料电池混合动力有轨电车的自适应瞬时等效能耗优化[J]. 机械工程学报, 2023, 59(6): 226-238.
[7]	高锋阳, 张浩然, 王文祥, 李明明. 规则控制与行驶工况相结合的现代有轨电车能量管理策略[J]. 机械工程学报, 2023, 59(4): 221-231.
[8]	金贤球, 雷涛, 闵志豪, 宋丽娜, 张星雨, 张晓斌. 分布式电推进飞机能量优化动态管理技术研究^*[J]. 电气工程学报, 2023, 18(3): 315-331.
[9]	王跃飞, 王志, 孙睿, 王超, 肖锴, 潘斌. 基于驾驶意图多步预测的智能网联HEV等效排放最小控制策略[J]. 机械工程学报, 2023, 59(18): 271-282.
[10]	钟沛成, 骆德渊, 庞明君. 基于深度强化学习的四足机器人跟随策略研究及系统实现[J]. 机械工程学报, 2023, 59(13): 79-88.
[11]	陈睿奇, 黎雯馨, 王传洋, 杨宏兵. 基于深度强化学习的工序交互式智能体Job shop调度方法[J]. 机械工程学报, 2023, 59(12): 78-88.
[12]	张佐乾, 吴红飞, 杨帆, 杜益如, 余海涛, 刘越, 邢岩. 高峰均比脉冲功率独立电源系统关键技术研究综述^*[J]. 电气工程学报, 2023, 18(1): 43-55.
[13]	唐小林, 陈佳信, 高博麟, 杨凯, 胡晓松, 李克强. 基于云控系统高精度地图驱动的深度强化学习型混合动力汽车集成控制[J]. 机械工程学报, 2022, 58(24): 163-177.
[14]	唐鑫, 欧阳权, 黄俍卉, 王志胜, 马瑞. 基于深度强化学习的锂电池快速充电控制策略[J]. 机械工程学报, 2022, 58(22): 69-78.
[15]	王辉, 徐佳文, 严如强. 基于多尺度注意力深度强化学习网络的行星齿轮箱智能诊断方法[J]. 机械工程学报, 2022, 58(11): 133-142.