基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

doi:10.3901/JME.2024.05.036

机械工程学报 ›› 2024, Vol. 60 ›› Issue (5): 36-50.doi: 10.3901/JME.2024.05.036

扫码分享

基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

刘达新^1,2, 王科^1,2, 刘振宇^1,2, 许嘉通^1,2, 谭建荣^1,2

1. 浙江大学计算机辅助设计与图形学国家重点实验室杭州 310027;
2. 设计工程及数字孪生浙江省工程研究中心杭州 310027

收稿日期:2022-12-25 修回日期:2023-05-06 出版日期:2024-03-05 发布日期:2024-05-30
通讯作者: 刘振宇，男，1974年出生，博士，教授，博士研究生导师。主要研究方向为复杂装备数字化设计与制造、数字孪生、智能设计与机器学习、工业机器人。E-mail：liuzy@zju.edu.cn
作者简介:刘达新，男，1982年出生，博士，讲师。主要研究方向为复杂装备数字样机与仿真、数字孪生与智能工业机器人等。E-mail：liudx@zju.edu.cn；王科，男，1992年出生，博士研究生。主要研究方向为数字孪生与机器人自主装配。E-mail：wangkeke@zju.edu.cn；许嘉通，男，1997年出生，博士研究生。主要研究方向为智能机器人装配。E-mail：xjtacitron@zju.edu.cn；谭建荣，男，1954年出生，博士，教授，博士研究生导师，中国工程院院士。主要研究方向为复杂装备数字化设计与制造、机械设计及理论。E-mail：egi@zju.edu.cn
基金资助:
国家重点研发计划(2019YFB1312600)、国家自然科学基金(52075480)和浙江省重点研发计划(2021C01008)资助项目。

Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning

LIU Daxin^1,2, WANG Ke^1,2, LIU Zhenyu^1,2, XU Jiatong^1,2, TAN Jianrong^1,2

1. State Key Laboratory of CAD&CG, Zhejiang University, Hangzhou 310027;
2. Engineering Research Center for Design Engineering and Digital Twin of Zhejiang Province, Hangzhou 310027

Received:2022-12-25 Revised:2023-05-06 Online:2024-03-05 Published:2024-05-30

摘要/Abstract

摘要： 目前机器人作业任务规划通常依赖于人为手动示教与离线编程，这往往需要操作人员花费大量的时间精力对机器人的操作流程进行定义与程序编写。为了进一步提高机器人装配作业任务规划的自主性和高效性，提出一种基于数据融合与知识推理的机器人装配单元数字孪生建模方法，研究机器人装配单元从物理空间到虚拟空间的高保真映射，为后续机器人在数字孪生环境下的自主动态装配作业奠定基础。将机器人装配单元数字孪生模型分为机器人与工艺工装、产品以及机器人装配过程三个部分，并分别提出了基于虚实映射的机器人与工艺工装数字孪生建模方法、融合多源异构数据的产品数字孪生建模方法以及基于知识推理的机器人装配作业过程数字孪生建模方法，在此基础上实现机器人装配作业任务的快速规划和仿真验证。最后将所提方法应用在某款步进电机的机器人装配作业任务规划中，验证了提出的方法在实际应用场景下的有效性。

关键词: 数字孪生, 工业机器人, 装配, 建模, 任务规划

Abstract: At present, robotic task planning usually relies on manual teaching or offline programming, which often requires operators to spend a lot of time to define and program the operating process of robot. In order to further improve the autonomy and efficiency of robotic assembly task planning, a digital twin modeling method for robotic assembly cell based on data fusion and knowledge reasoning is proposed. The proposed method maps robotic assembly cell from physical space to virtual space, which lays the foundation for subsequent autonomous and dynamic assembly operations of robot in the digital twin environment. The robotic assembly cell is divided into three parts: robot & toolings, product, and robotic assembly process. The methods for constructing digital twin models of robot & toolings, product, and robotic assembly process are studies based on virtual-real mapping, fusion of multi-source heterogeneous data, and knowledge reasoning, respectively. The digital twin model of robotic assembly cell can realize fast planning and simulation verification for robotic assembly tasks. Finally, the proposed method is applied to the robotic assembly task planning for a type of stepping motor. The effectiveness of the proposed method in real application cases is verified.

Key words: digital twin, industrial robot, assembly, modeling, task planning

中图分类号:

TG156

刘达新, 王科, 刘振宇, 许嘉通, 谭建荣. 基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究[J]. 机械工程学报, 2024, 60(5): 36-50.

LIU Daxin, WANG Ke, LIU Zhenyu, XU Jiatong, TAN Jianrong. Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning[J]. Journal of Mechanical Engineering, 2024, 60(5): 36-50.

参考文献

[1] 王田苗，陶永. 我国工业机器人技术现状与产业化发展战略[J]. 机械工程学报，2014，50(9)：1-13. WANG Tianmiao，TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of Mechanical Engineering，2014，50(9)：1-13.
[2] CHEN L，WEI Z，ZHAO F，et al. Development of a virtual teaching pendant system for serial robots based on ROS-I[C]// IEEE International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics，Automation and Mechatronics (RAM)，2017：720-724.
[3] PAN Y，CHEN C，LI D，et al，Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device[J]. Robotics and Computer-Integrated Manufacturing，2021，71：102167.
[4] 陈成军，周以齐，曲斌. 基于力反馈的虚拟示教式机械手臂装配路径规划方法[J]. 系统仿真学报，2009，21(10)：2945-2950. CHEN Chengjun，ZHOU Yiqi，QU Bin. Assembly path planning for robot arm based on force feedback virtual teaching method[J]. Journal of System Simulation，2009，21(10)：2945-2950.
[5] 朱文博. 基于多人机交互模式的机器人示教系统开发[D]. 武汉：华中科技大学，2018. ZHU Wenbo. Development of robot teaching system based on multiple human-computer interaction modes[D]. Wuhan：Huazhong University of Science and Technology，2018.
[6] ONG S K，YEW A W W，THANIGAIVEL N K，et al. Augmented reality-assisted robot programming system for industrial applications[J]. Robotics and Computer- Integrated Manufacturing，2020，61：101820.
[7] DUQUE D A，PRIETO F A，HOYOS J G. Trajectory generation for robotic assembly operations using learning by demonstration[J]. Robotics and Computer-Integrated Manufacturing，2019，57：292-302.
[8] ROZO L，JIMÉNEZ P，TORRAS C. A robot learning from demonstration framework to perform force-based manipulation tasks[J]. Intelligent Service Robotics，2013，6(1)：33-51.
[9] WANG Y，XIONG R，YU H，et al. Perception of demonstration for automatic programing of robotic assembly：Framework，algorithm，and validation[J]. IEEE/ASME Transactions on Mechatronics，2018，23(3)：1059-1070.
[10] KYRARINI M，HASEEB M A，RISTIĆ-DURRANT D，et al. Robot learning of industrial assembly task via human demonstrations[J]. Autonomous Robots，2019，43(1)：239-257.
[11] 王斐，齐欢，周星群，等. 基于多源信息融合的协作机器人演示编程及优化方法[J]. 机器人，2018，40(4)：551-559. WANG Fei，QI Huan，ZHOU Xingqun，et al. Demonstration programming and optimization method of cooperative robot based on multi-source information fusion[J]. Robot，2018，40(4)：551-559.
[12] AERTBELIEN E，DE SCHUTTER J. eTaSL/eTC：A constraint-based task specification language and robot controller using expression graphs[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems，2014：1540-1546.
[13] MICHNIEWICZ J，REINHART G. Cyber-physical- robotics-modelling of modular robot cells for automated planning and execution of assembly tasks[J]. Mechatronics，2016，34：170-180.
[14] NAGELE F，HALT L，TENBROCK P，et al. A prototype-based skill model for specifying robotic assembly tasks[C]// IEEE International Conference on Robotics and Automation (ICRA)，2018：558-565.
[15] 付艳，汤贤，刘世平，等. 基于人机协同的人形机器人实时任务规划[J]. 华中科技大学学报(自然科学版)，2017，45(1)：76-81. FU Yan，TANG Xian，LIU Shiping，et al. Real-time task planning for humanoid robot based on human-robot cooperation[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition)，2017，45(1)：76-81.
[16] FU Y，ZHU G，ZHU M，et al. Digital twin for integration of design-manufacturing-maintenance：An overview[J]. Chinese Journal of Mechanical Engineering，2022，35(4)：1-20.
[17] BILBERG A，MALIK A. A Digital twin driven human-robot collaborative assembly[J]. CIRP Annals，2019，68(1)：499-502.
[18] TIPARY B，ERDŐS G. Generic development methodology for flexible robotic pick-and-place workcells based on digital twin[J]. Robotics and Computer- Integrated Manufacturing，2021，71：102140.
[19] 杨赓，周慧颖，王柏村. 数字孪生驱动的智能人机协作：理论、技术与应用[J]. 机械工程学报，2022，58(18)：279-291. YANG Geng，ZHOU Huiying，WANG Baicun. Digital twin-driven smart human-machine collaboration：theory，enabling technologies and applications[J]. Journal of Mechanical Engineering，2022，58(18)：279-291.
[20] ZHUANG C，LIU Z，LIU J，et al. Digital twin-based quality management method for the assembly process of aerospace products with the grey-markov model and apriori algorithm[J]. Chinese Journal of Mechanical Engineering，2022，35(5)：66-86.
[21] SUN X，BAO J，LI J，et al. A digital twin-driven approach for the assembly-commissioning of high precision products[J]. Robotics and Computer-Integrated Manufacturing，2020，61：101839.
[22] WANG K，LIU D，LIU Z，et al. An assembly precision analysis method based on a general part digital twin model[J]. Robotics and Computer-Integrated Manufacturing，2021，68：102089.
[23] OU L M，XU X. Relationship matrix based automatic assembly sequence generation from a CAD model[J]. Computer-Aided Design，2013，45(7)：1053-1067.
[24] WANG K，LIU D，LIU Z，et al. A fast object registration method for augmented reality assembly with simultaneous determination of multiple 2D-3D correspondences[J]. Robotics and Computer-Integrated Manufacturing，2020，63：101890.

基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	韩建超, 张孟非, 王斌, 国生辉, 贾燚, 王涛. 钛合金电致塑性本构方程及多物理场耦合分析[J]. 机械工程学报, 2024, 60(9): 421-433.
[2]	罗忠, 石宝龙, 吴法勇, 李玉奇, 刘凯宁, 张小霞. 考虑装配工艺的螺栓连接转子系统振动特性研究[J]. 机械工程学报, 2024, 60(8): 396-406.
[3]	张俊, 吴成阳, 方汉良, 孙载超, 王凯龙, 汤腾飞. Z4型冗余驱动并联操作器的驱动特性研究[J]. 机械工程学报, 2024, 60(7): 66-78.
[4]	商德勇, 黄欣怡, 黄云山, 张天佑. 基于Kane方程的Delta并联机器人刚柔耦合动力学研究[J]. 机械工程学报, 2024, 60(7): 124-133.
[5]	张超, 周光辉, 李晶晶, 魏智博, 秦天宇. 面向航空复杂零件智能工艺规划的孪生工艺模型构建与应用研究[J]. 机械工程学报, 2024, 60(6): 32-43.
[6]	胡松, 徐赵博, 肖磊才, 冯平法, 曾龙. 面向跨品类产品的可重构柔性装配技术研究[J]. 机械工程学报, 2024, 60(6): 69-81.
[7]	王跃飞, 王超, 许于涛, 孙睿, 肖锴, 王凯林. 边-云协同下智能制造单元作业的数字孪生任务调度方法[J]. 机械工程学报, 2024, 60(6): 137-152.
[8]	姜文涛, 刘晓明, 李培源, 陈海, 张煦松. 机械式真空快速切换开关机构多目标优化设计[J]. 机械工程学报, 2024, 60(6): 153-162.
[9]	王俊玖, 刘金玉, 侯秀娟, 齐振国, 李志敏, 刘涛. 列车车体柔性装配精度预测的力学-数据混合建模方法[J]. 机械工程学报, 2024, 60(6): 177-186.
[10]	戴明华, 胡平, 盈亮, 陈帅, 王永青, 韩小强. 考虑损伤的热成形淬硬硼钢失效行为建模研究[J]. 机械工程学报, 2024, 60(6): 218-226.
[11]	张立元, 杨锦波, 李澳, 杨庆凯, 徐光魁. 张拉整体球形机器人构型设计与控制研究进展[J]. 机械工程学报, 2024, 60(5): 1-18.
[12]	孟原, 史宝军, 张德权. Kriging-高维代理模型建模方法研究与改进[J]. 机械工程学报, 2024, 60(5): 249-263.
[13]	石健, 刘冬, 王少萍. 基于数字孪生的机电液系统PHM关键技术综述[J]. 机械工程学报, 2024, 60(4): 66-81.
[14]	王战玺, 张益铭, 张邦海, 罗子彦, 史梦格. 双机器人协作轴孔装配力柔顺控制技术研究[J]. 机械工程学报, 2024, 60(3): 28-33.
[15]	和东平, 蒋莉, 徐慧东, 刘元铭, 王涛. 轧机工作辊水平非线性振动及智能衬板吸振[J]. 机械工程学报, 2024, 60(20): 108-119.