基于多模态的履带式挖掘机自动驾驶决策网络

doi:10.3901/JME.2025.04.380

机械工程学报 ›› 2025, Vol. 61 ›› Issue (4): 380-388.doi: 10.3901/JME.2025.04.380

扫码分享

基于多模态的履带式挖掘机自动驾驶决策网络

陈其怀^1,2, 林添良^1,2, 马荣华^1,2, 温建和^1,2, 缪骋^1,2, 任好玲^1,2

1. 华侨大学机电及自动化学院泉州 361021;
2. 福建省移动机械绿色智能驱动与传动重点实验室泉州 361021

收稿日期:2024-03-19 修回日期:2024-11-03 出版日期:2025-02-20 发布日期:2025-04-14
作者简介:陈其怀，男，博士，副教授。主要研究方向为工程机械绿色化和智能化技术。E-mail：chen.qihuai@163.com
林添良(通信作者)，男，博士，教授，博士研究生导师。主要研究方向为工程机械的电动化和智能化技术。E-mail：ltlkxl@163.com
基金资助:
国家自然科学基金(52275055)、福建省高校产学研联合创新(2022H6007)和厦门市重大科技计划(3502Z20231013)资助项目。

Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal

CHEN Qihuai^1,2, LIN Tianliang^1,2, MA Ronghua^1,2, WEN Jianhe^1,2, MIAO Cheng^1,2, REN Haoling^1,2

1. College of Mechanical Engineering and Automation, Huaqiao University, Quanzhou 361021;
2. Fujian Key Laboratory of Green Intelligent Drive and Transmission for Mobile Machinery, Quanzhou 361021

Received:2024-03-19 Revised:2024-11-03 Online:2025-02-20 Published:2025-04-14

摘要/Abstract

摘要： 履带挖掘机应用场景复杂，工作环境无规则。当前基于深度学习的自动驾驶决策方法主要以单目相机RGB图像为输入，数据类型单一、预测精度较低、对驾驶场景理解不足，不能够完成履带式挖掘机自动驾驶的决策。为了更好地实现对履带式挖掘机自动驾驶的决策，提出将多种双目图像信息进行融合，同时引入注意力机制，构建基于多模态的履带式挖掘机决策网络，得到转向和速度多任务预测量。为了验证所提出方案的可行性，利用开源驾驶场景数据集和非结构化道路真实场地数据集进行测试，并开展实车试验。试验结果表明，综合多种双目图像信息的模型在履带式挖掘机转向角和速度预测方面，泛化能力有着明显的优势，能较好地完成履带挖掘机的自动行走，并进行自主避障。

关键词: 工程机械, 深度学习, 自动驾驶, 行为决策, 多模态

Abstract: The application scenario of crawler excavators is complex. The working environment is irregular. Current deep learning-based autonomous driving decision-making methods mainly take monocular camera RGB images as input, have single data types, low prediction accuracy and insufficient understanding of driving scenes, which are not sufficient to complete autonomous driving decisions of electric construction machinery. In order to better realize the decision of automatic driving of electric construction machinery, multiple binocular image information is fused, and attention mechanism is employed to construct a multi-modal behavior decision model of electric construction machinery, and the multi-task predictors of steering and speed are obtained. Conduct testing using open-source driving scenario datasets and unstructured road real site datasets, and conduct real vehicle testing. The experimental results show that the model that integrates multiple binocular image information has obvious advantages in generalization ability in predicting the steering angle and speed of tracked excavators, and can effectively complete the automatic walking of tracked excavators and perform autonomous obstacle avoidance.

Key words: construction machinery, deep learning, autonomous driving, behavior decision, multi-modal

中图分类号:

TP242

陈其怀, 林添良, 马荣华, 温建和, 缪骋, 任好玲. 基于多模态的履带式挖掘机自动驾驶决策网络[J]. 机械工程学报, 2025, 61(4): 380-388.

CHEN Qihuai, LIN Tianliang, MA Ronghua, WEN Jianhe, MIAO Cheng, REN Haoling. Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal[J]. Journal of Mechanical Engineering, 2025, 61(4): 380-388.

导出引用管理器 EndNote|Reference Manager|ProCite|BibTeX|RefWorks

链接本文: http://www.cjmenet.com.cn/CN/10.3901/JME.2025.04.380

http://www.cjmenet.com.cn/CN/Y2025/V61/I4/380

参考文献

[1] PAREKH D，PODDARO N，RAJPURKAR A，et al. A review on autonomous vehicles:Progress，methods and challenges[J]. Electronics，2022，11(14):2162.
[2] LIU Q，LI X，YUAN S，et al. Decision-making technology for autonomous vehicles:Learning-based methods，applications and future outlook[C]//2021 IEEE International Intelligent Transportation Systems Conference (ITSC). Indianapolis，American:IEEE，2021:30-37.
[3] ERALIEV O，LEE K，SHIN D，et al. Sensing，perception，decision，planning and action of autonomous excavators[J]. Automation in Construction，2022，141: 104428.
[4] ZHANG L，ZHAO J，LONG P，et al. An autonomous excavator system for material loading tasks[J]. Science Robotics，2021，6(55):eabc3164.
[5] BOJARSKI M，DEL TESTA D，DWORAKOWSKI D，et al. End to end learning for self-driving cars[EB/OL]//[2016-04-25]. https://arxiv.org/pdf:1604.07316.
[6] CHEN Y，WANG J，LI J，et al. Lidar-video driving dataset:Learning driving policies effectively[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Salt Lake City American:IEEE，2018:5870-5878.
[7] FANG Z，LIN T，LI Z，et al. Automatic walking method of construction machinery based on binocular camera environment perception[J]. Micromachines，2022，13(5): 671.
[8] 林添良，姚瑜，许文杰，等. 基于环境识别的电动工程机械无人驾驶行走方法[J]. 机械工程学报，2021，57(10):1-8. LIN Tianliang，YAO Yu，XU Wenjie，et al. Driverless walking method of electric construction machinery based on environment recognition[J]. Journal of Mechanical Engineering，2021，57(10):1-8.
[9] YU C，WANG J，PENG C，et al. Bisenet:Bilateral segmentation network for real-time semantic segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). Munich，German:Springer，2018:325-341.
[10] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas:IEEE，2016:770-778.
[11] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all you need[C]//Advances in Neural Information Processing Systems(NIPS). Long Beach: MIT Press，2017:5998-6008.
[12] HOU Q，ZHOU D，FENG J. Coordinate attention for efficient mobile network design[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，New York:IEEE，2021:13713-13722.
[13] IOFFE S，SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning(ICML). Lile:PMLR，2015:448-456.
[14] LOSHCHILOV I，HUTTER F. Fixing weight decay regularization in adam[EB/OL]. [2017-11-14]. https://arxiv.org/pdf/1711.05101.
[15] LOSHCHILOV I，HUTTER F. Sgdr: Stochastic gradient descent with warm restarts[EB/OL].[2016-08-13]. https://arxiv.org/pdf/1608.03983.
[16] 赵祥模，连心雨，刘占文，等. 基于MM-STConv的端到端自动驾驶行为决策模型[J].中国公路学报，2020，33(3):170-183. ZHAO Xiangmo，LIAN Xinyu，LIU Zhanwen，et al. End-to-end autonomous driving-behavior decision model based on MM-STConv[J]. Journal of China Highway Engineering，2020，33(3):170-183.

基于多模态的履带式挖掘机自动驾驶决策网络

Automatic Driving Decision Network of Crawler Excavator Based on Multi-modal

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	肖跃, 贺宜, 张鸣. 基于分层式MPC的分布式四轮驱动车辆轨迹跟踪控制方法[J]. 机械工程学报, 2026, 62(8): 475-488.
[2]	雷佳为, 王姝婷, 岳重祥, 林萍, 彭文, 孙杰, 张殿华. 基于深度学习的热轧厚度-活套动态建模[J]. 机械工程学报, 2026, 62(6): 142-153.
[3]	徐扬欢, 王东城, 刘宏民, 党丽莹, 刘云飞, 杨爱民. 基于深度学习的图像板形检测方法研究[J]. 机械工程学报, 2026, 62(6): 185-196.
[4]	李雨露, 李俊峰, 万章艺, 魏正英. 基于YOLO算法的激光粉末床熔融成形层形貌分类识别与成形质量预测研究[J]. 机械工程学报, 2026, 62(3): 218-234.
[5]	詹家通, 刘志忠, 叶雄越, 石永华, 钟少涛. 多模态磁控电源及9% Ni钢K-TIG打底焊成形优化机理研究[J]. 机械工程学报, 2026, 62(2): 157-169.
[6]	王祺, 叶仁传, 马国杰, 马佩珏, 范杰, 杨文龙. 钢材表面缺陷轻量化识别算法研究[J]. 机械工程学报, 2025, 61(8): 18-31.
[7]	秦飞红, 袁懋诞, 祝端阳, 刘晓睿, 李明, 纪轩荣. 基于多层特征融合目标检测网络的超声全聚焦钢板焊缝缺陷自动检测研究[J]. 机械工程学报, 2025, 61(4): 55-66.
[8]	寇逸群, 杨晔, 刘颉, 胡友民, 李林, 俞百川, 徐家和, 胡中旭, 史铁林. 面向认知赋能的人机协作：进展、挑战和展望[J]. 机械工程学报, 2025, 61(3): 1-22.
[9]	赵欣, 任杉, 张耿, 张映锋. 运维数据与多模态知识驱动的复杂产品改进设计新模式研究[J]. 机械工程学报, 2025, 61(3): 91-104.
[10]	黄思翰, 陈建鹏, 徐哲, 阎艳, 王国新. 基于大语言模型和机器视觉的智能制造系统人机自主协同作业方法[J]. 机械工程学报, 2025, 61(3): 130-141.
[11]	刘翰儒, 陈桂映, 许泽林, 彭世通, 郭嘉楠, 刘伟嵬, 王奉涛. 基于SERepVGG-A2的轻量化卷积神经网络在熔池状态识别中的应用[J]. 机械工程学报, 2025, 61(3): 440-448.
[12]	黄金凤, 王成城, 何宏亮, 王旭, 李奇, 杨康定, 王凯, 张飞斌, 秦朝烨, 褚福磊. 思维链范式智能运维文本基多模态智能体[J]. 机械工程学报, 2025, 61(23): 58-74.
[13]	赵阳, 王中任, 史铁林, 谭孟, 张文, 李文喜. 基于Swin-IMSA的外圆磨削过程中粗糙度在机预测方法[J]. 机械工程学报, 2025, 61(23): 373-380.
[14]	姚福星, 李浩宇, 冷江昊, 杨雄基, 孙超. 面向多场景高速公路的多专家学习自主换道决策方法[J]. 机械工程学报, 2025, 61(22): 198-210.
[15]	林元正, 林添良, 李钟慎, 缪骋, 陈其怀, 赵恒, 石家榕. 电动工程机械变转速-定量泵压差可控阀前补偿负载敏感系统研究[J]. 机械工程学报, 2025, 61(22): 355-369.