基于多模态的履带式挖掘机自动驾驶决策网络

doi:10.3901/JME.2025.04.380

机械工程学报 ›› 2025, Vol. 61 ›› Issue (4): 380-388.doi: 10.3901/JME.2025.04.380

• 交叉与前沿 • 上一篇

扫码分享

基于多模态的履带式挖掘机自动驾驶决策网络

陈其怀^1,2, 林添良^1,2, 马荣华^1,2, 温建和^1,2, 缪骋^1,2, 任好玲^1,2

1. 华侨大学机电及自动化学院泉州 361021;
2. 福建省移动机械绿色智能驱动与传动重点实验室泉州 361021

收稿日期:2024-03-19 修回日期:2024-11-03 发布日期:2025-04-14
作者简介:陈其怀，男，博士，副教授。主要研究方向为工程机械绿色化和智能化技术。E-mail：chen.qihuai@163.com
林添良(通信作者)，男，博士，教授，博士研究生导师。主要研究方向为工程机械的电动化和智能化技术。E-mail：ltlkxl@163.com
基金资助:
国家自然科学基金(52275055)、福建省高校产学研联合创新(2022H6007)和厦门市重大科技计划(3502Z20231013)资助项目。

Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal

CHEN Qihuai^1,2, LIN Tianliang^1,2, MA Ronghua^1,2, WEN Jianhe^1,2, MIAO Cheng^1,2, REN Haoling^1,2

1. College of Mechanical Engineering and Automation, Huaqiao University, Quanzhou 361021;
2. Fujian Key Laboratory of Green Intelligent Drive and Transmission for Mobile Machinery, Quanzhou 361021

Received:2024-03-19 Revised:2024-11-03 Published:2025-04-14

摘要/Abstract

摘要： 履带挖掘机应用场景复杂，工作环境无规则。当前基于深度学习的自动驾驶决策方法主要以单目相机RGB图像为输入，数据类型单一、预测精度较低、对驾驶场景理解不足，不能够完成履带式挖掘机自动驾驶的决策。为了更好地实现对履带式挖掘机自动驾驶的决策，提出将多种双目图像信息进行融合，同时引入注意力机制，构建基于多模态的履带式挖掘机决策网络，得到转向和速度多任务预测量。为了验证所提出方案的可行性，利用开源驾驶场景数据集和非结构化道路真实场地数据集进行测试，并开展实车试验。试验结果表明，综合多种双目图像信息的模型在履带式挖掘机转向角和速度预测方面，泛化能力有着明显的优势，能较好地完成履带挖掘机的自动行走，并进行自主避障。

关键词: 工程机械, 深度学习, 自动驾驶, 行为决策, 多模态

Abstract: The application scenario of crawler excavators is complex. The working environment is irregular. Current deep learning-based autonomous driving decision-making methods mainly take monocular camera RGB images as input, have single data types, low prediction accuracy and insufficient understanding of driving scenes, which are not sufficient to complete autonomous driving decisions of electric construction machinery. In order to better realize the decision of automatic driving of electric construction machinery, multiple binocular image information is fused, and attention mechanism is employed to construct a multi-modal behavior decision model of electric construction machinery, and the multi-task predictors of steering and speed are obtained. Conduct testing using open-source driving scenario datasets and unstructured road real site datasets, and conduct real vehicle testing. The experimental results show that the model that integrates multiple binocular image information has obvious advantages in generalization ability in predicting the steering angle and speed of tracked excavators, and can effectively complete the automatic walking of tracked excavators and perform autonomous obstacle avoidance.

Key words: construction machinery, deep learning, autonomous driving, behavior decision, multi-modal

中图分类号:

TP242

陈其怀, 林添良, 马荣华, 温建和, 缪骋, 任好玲. 基于多模态的履带式挖掘机自动驾驶决策网络[J]. 机械工程学报, 2025, 61(4): 380-388.

CHEN Qihuai, LIN Tianliang, MA Ronghua, WEN Jianhe, MIAO Cheng, REN Haoling. Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal[J]. Journal of Mechanical Engineering, 2025, 61(4): 380-388.

参考文献

[1] PAREKH D，PODDARO N，RAJPURKAR A，et al. A review on autonomous vehicles:Progress，methods and challenges[J]. Electronics，2022，11(14):2162.
[2] LIU Q，LI X，YUAN S，et al. Decision-making technology for autonomous vehicles:Learning-based methods，applications and future outlook[C]//2021 IEEE International Intelligent Transportation Systems Conference (ITSC). Indianapolis，American:IEEE，2021:30-37.
[3] ERALIEV O，LEE K，SHIN D，et al. Sensing，perception，decision，planning and action of autonomous excavators[J]. Automation in Construction，2022，141: 104428.
[4] ZHANG L，ZHAO J，LONG P，et al. An autonomous excavator system for material loading tasks[J]. Science Robotics，2021，6(55):eabc3164.
[5] BOJARSKI M，DEL TESTA D，DWORAKOWSKI D，et al. End to end learning for self-driving cars[EB/OL]//[2016-04-25]. https://arxiv.org/pdf:1604.07316.
[6] CHEN Y，WANG J，LI J，et al. Lidar-video driving dataset:Learning driving policies effectively[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City American:IEEE，2018:5870-5878.
[7] FANG Z，LIN T，LI Z，et al. Automatic walking method of construction machinery based on binocular camera environment perception[J]. Micromachines，2022，13(5): 671.
[8] 林添良，姚瑜，许文杰，等. 基于环境识别的电动工程机械无人驾驶行走方法[J]. 机械工程学报，2021，57(10):1-8. LIN Tianliang，YAO Yu，XU Wenjie，et al. Driverless walking method of electric construction machinery based on environment recognition[J]. Journal of Mechanical Engineering，2021，57(10):1-8.
[9] YU C，WANG J，PENG C，et al. Bisenet:Bilateral segmentation network for real-time semantic segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). Munich，German:Springer，2018:325-341.
[10] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas:IEEE，2016:770-778.
[11] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all you need[C]//Advances in Neural Information Processing Systems(NIPS). Long Beach: MIT Press，2017:5998-6008.
[12] HOU Q，ZHOU D，FENG J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，New York:IEEE，2021:13713-13722.
[13] IOFFE S，SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning(ICML). Lile:PMLR，2015:448-456.
[14] LOSHCHILOV I，HUTTER F. Fixing weight decay regularization in adam[EB/OL]. [2017-11-14]. https://arxiv.org/pdf/1711.05101.
[15] LOSHCHILOV I，HUTTER F. Sgdr: Stochastic gradient descent with warm restarts[EB/OL].[2016-08-13]. https://arxiv.org/pdf/1608.03983.
[16] 赵祥模，连心雨，刘占文，等. 基于MM-STConv的端到端自动驾驶行为决策模型[J].中国公路学报，2020，33(3):170-183. ZHAO Xiangmo，LIAN Xinyu，LIU Zhanwen，et al. End-to-end autonomous driving-behavior decision model based on MM-STConv[J]. Journal of China Highway Engineering，2020，33(3):170-183.

基于多模态的履带式挖掘机自动驾驶决策网络

Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	秦飞红, 袁懋诞, 祝端阳, 刘晓睿, 李明, 纪轩荣. 基于多层特征融合目标检测网络的超声全聚焦钢板焊缝缺陷自动检测研究[J]. 机械工程学报, 2025, 61(4): 55-66.
[2]	寇逸群, 杨晔, 刘颉, 胡友民, 李林, 俞百川, 徐家和, 胡中旭, 史铁林. 面向认知赋能的人机协作：进展、挑战和展望[J]. 机械工程学报, 2025, 61(3): 1-22.
[3]	赵欣, 任杉, 张耿, 张映锋. 运维数据与多模态知识驱动的复杂产品改进设计新模式研究[J]. 机械工程学报, 2025, 61(3): 91-104.
[4]	黄思翰, 陈建鹏, 徐哲, 阎艳, 王国新. 基于大语言模型和机器视觉的智能制造系统人机自主协同作业方法[J]. 机械工程学报, 2025, 61(3): 130-141.
[5]	刘翰儒, 陈桂映, 许泽林, 彭世通, 郭嘉楠, 刘伟嵬, 王奉涛. 基于SERepVGG-A2的轻量化卷积神经网络在熔池状态识别中的应用[J]. 机械工程学报, 2025, 61(3): 440-448.
[6]	赵靖, 王伟达, 杨超, 李颖, 项昌乐, 向真, 昌磊. 一种兼顾运行距离与能耗的飞行车辆多模态任务路线规划方法[J]. 机械工程学报, 2025, 61(2): 222-235.
[7]	李春凯, 王嘉昕, 石玗, 代悦. GTAW熔池激光条纹动态行为与熔透预测方法研究[J]. 机械工程学报, 2024, 60(6): 236-244.
[8]	史丽晨, 史炜椿, 王海涛, 李金阳, 刘亚雄. 基于DRSN-BiLSTM模型的刀具磨损预测方法研究[J]. 机械工程学报, 2024, 60(24): 66-74.
[9]	褚文博, 甘露, 李国法, 唐小林, 李克强. 面向自动驾驶的大模型高效压缩技术：综述[J]. 机械工程学报, 2024, 60(22): 224-240.
[10]	褚端峰, 刘鸿祥, 高博麟, 王金湘, 殷国栋. 车辆队列预测巡航控制研究综述[J]. 机械工程学报, 2024, 60(18): 218-246.
[11]	赵峻林, 乔百杰, 罗现强, 符顺国, 程昊, 王亚南, 陈雪峰. 基于单传感器测量的多模态叶片动应力场预测[J]. 机械工程学报, 2024, 60(16): 19-33.
[12]	赵德望, 姜超, 赵延广, 杨文平, 樊俊铃. 铝锂合金疲劳性能及预测研究-基于试验和“浅层”+“深度”混合神经网络方法[J]. 机械工程学报, 2024, 60(16): 190-199.
[13]	隗寒冰, 吴化腾, 徐进. 考虑驾驶员NMS特征的自动驾驶汽车人机共驾鲁棒横向控制[J]. 机械工程学报, 2024, 60(16): 280-290.
[14]	付玲, 佘玲娟, 颜镀镭, 张鹏, 龙湘云. 基于内嵌物理信息与注意力机制BiLSTM神经网络的臂架系统疲劳损伤预测模型[J]. 机械工程学报, 2024, 60(13): 205-215.
[15]	陈钱, 陈康康, 董兴建, 皇甫一樊, 彭志科, 孟光. 一种面向机械设备故障诊断的可解释卷积神经网络[J]. 机械工程学报, 2024, 60(12): 65-76.