基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

doi:10.3901/JME.2024.05.036

机械工程学报 ›› 2024, Vol. 60 ›› Issue (5): 36-50.doi: 10.3901/JME.2024.05.036

扫码分享

基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

刘达新^1,2, 王科^1,2, 刘振宇^1,2, 许嘉通^1,2, 谭建荣^1,2

1. 浙江大学计算机辅助设计与图形学国家重点实验室杭州 310027;
2. 设计工程及数字孪生浙江省工程研究中心杭州 310027

收稿日期:2022-12-25 修回日期:2023-05-06 出版日期:2024-03-05 发布日期:2024-05-30
通讯作者: 刘振宇，男，1974年出生，博士，教授，博士研究生导师。主要研究方向为复杂装备数字化设计与制造、数字孪生、智能设计与机器学习、工业机器人。E-mail：liuzy@zju.edu.cn
作者简介:刘达新，男，1982年出生，博士，讲师。主要研究方向为复杂装备数字样机与仿真、数字孪生与智能工业机器人等。E-mail：liudx@zju.edu.cn；王科，男，1992年出生，博士研究生。主要研究方向为数字孪生与机器人自主装配。E-mail：wangkeke@zju.edu.cn；许嘉通，男，1997年出生，博士研究生。主要研究方向为智能机器人装配。E-mail：xjtacitron@zju.edu.cn；谭建荣，男，1954年出生，博士，教授，博士研究生导师，中国工程院院士。主要研究方向为复杂装备数字化设计与制造、机械设计及理论。E-mail：egi@zju.edu.cn
基金资助:
国家重点研发计划(2019YFB1312600)、国家自然科学基金(52075480)和浙江省重点研发计划(2021C01008)资助项目。

Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning

LIU Daxin^1,2, WANG Ke^1,2, LIU Zhenyu^1,2, XU Jiatong^1,2, TAN Jianrong^1,2

1. State Key Laboratory of CAD&CG, Zhejiang University, Hangzhou 310027;
2. Engineering Research Center for Design Engineering and Digital Twin of Zhejiang Province, Hangzhou 310027

Received:2022-12-25 Revised:2023-05-06 Online:2024-03-05 Published:2024-05-30

摘要/Abstract

摘要： 目前机器人作业任务规划通常依赖于人为手动示教与离线编程，这往往需要操作人员花费大量的时间精力对机器人的操作流程进行定义与程序编写。为了进一步提高机器人装配作业任务规划的自主性和高效性，提出一种基于数据融合与知识推理的机器人装配单元数字孪生建模方法，研究机器人装配单元从物理空间到虚拟空间的高保真映射，为后续机器人在数字孪生环境下的自主动态装配作业奠定基础。将机器人装配单元数字孪生模型分为机器人与工艺工装、产品以及机器人装配过程三个部分，并分别提出了基于虚实映射的机器人与工艺工装数字孪生建模方法、融合多源异构数据的产品数字孪生建模方法以及基于知识推理的机器人装配作业过程数字孪生建模方法，在此基础上实现机器人装配作业任务的快速规划和仿真验证。最后将所提方法应用在某款步进电机的机器人装配作业任务规划中，验证了提出的方法在实际应用场景下的有效性。

关键词: 数字孪生, 工业机器人, 装配, 建模, 任务规划

Abstract: At present, robotic task planning usually relies on manual teaching or offline programming, which often requires operators to spend a lot of time to define and program the operating process of robot. In order to further improve the autonomy and efficiency of robotic assembly task planning, a digital twin modeling method for robotic assembly cell based on data fusion and knowledge reasoning is proposed. The proposed method maps robotic assembly cell from physical space to virtual space, which lays the foundation for subsequent autonomous and dynamic assembly operations of robot in the digital twin environment. The robotic assembly cell is divided into three parts: robot & toolings, product, and robotic assembly process. The methods for constructing digital twin models of robot & toolings, product, and robotic assembly process are studies based on virtual-real mapping, fusion of multi-source heterogeneous data, and knowledge reasoning, respectively. The digital twin model of robotic assembly cell can realize fast planning and simulation verification for robotic assembly tasks. Finally, the proposed method is applied to the robotic assembly task planning for a type of stepping motor. The effectiveness of the proposed method in real application cases is verified.

Key words: digital twin, industrial robot, assembly, modeling, task planning

中图分类号:

TG156

刘达新, 王科, 刘振宇, 许嘉通, 谭建荣. 基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究[J]. 机械工程学报, 2024, 60(5): 36-50.

LIU Daxin, WANG Ke, LIU Zhenyu, XU Jiatong, TAN Jianrong. Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning[J]. Journal of Mechanical Engineering, 2024, 60(5): 36-50.

导出引用管理器 EndNote|Reference Manager|ProCite|BibTeX|RefWorks

链接本文: http://www.cjmenet.com.cn/CN/10.3901/JME.2024.05.036

http://www.cjmenet.com.cn/CN/Y2024/V60/I5/36

参考文献

[1] 王田苗，陶永. 我国工业机器人技术现状与产业化发展战略[J]. 机械工程学报，2014，50(9)：1-13. WANG Tianmiao，TAO Yong. Research status and industrialization development strategy of Chinese industrial robot[J]. Journal of Mechanical Engineering，2014，50(9)：1-13.
[2] CHEN L，WEI Z，ZHAO F，et al. Development of a virtual teaching pendant system for serial robots based on ROS-I[C]// IEEE International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics，Automation and Mechatronics (RAM)，2017：720-724.
[3] PAN Y，CHEN C，LI D，et al，Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device[J]. Robotics and Computer-Integrated Manufacturing，2021，71：102167.
[4] 陈成军，周以齐，曲斌. 基于力反馈的虚拟示教式机械手臂装配路径规划方法[J]. 系统仿真学报，2009，21(10)：2945-2950. CHEN Chengjun，ZHOU Yiqi，QU Bin. Assembly path planning for robot arm based on force feedback virtual teaching method[J]. Journal of System Simulation，2009，21(10)：2945-2950.
[5] 朱文博. 基于多人机交互模式的机器人示教系统开发[D]. 武汉：华中科技大学，2018. ZHU Wenbo. Development of robot teaching system based on multiple human-computer interaction modes[D]. Wuhan：Huazhong University of Science and Technology，2018.
[6] ONG S K，YEW A W W，THANIGAIVEL N K，et al. Augmented reality-assisted robot programming system for industrial applications[J]. Robotics and Computer- Integrated Manufacturing，2020，61：101820.
[7] DUQUE D A，PRIETO F A，HOYOS J G. Trajectory generation for robotic assembly operations using learning by demonstration[J]. Robotics and Computer-Integrated Manufacturing，2019，57：292-302.
[8] ROZO L，JIMÉNEZ P，TORRAS C. A robot learning from demonstration framework to perform force-based manipulation tasks[J]. Intelligent Service Robotics，2013，6(1)：33-51.
[9] WANG Y，XIONG R，YU H，et al. Perception of demonstration for automatic programing of robotic assembly：Framework，algorithm，and validation[J]. IEEE/ASME Transactions on Mechatronics，2018，23(3)：1059-1070.
[10] KYRARINI M，HASEEB M A，RISTIĆ-DURRANT D，et al. Robot learning of industrial assembly task via human demonstrations[J]. Autonomous Robots，2019，43(1)：239-257.
[11] 王斐，齐欢，周星群，等. 基于多源信息融合的协作机器人演示编程及优化方法[J]. 机器人，2018，40(4)：551-559. WANG Fei，QI Huan，ZHOU Xingqun，et al. Demonstration programming and optimization method of cooperative robot based on multi-source information fusion[J]. Robot，2018，40(4)：551-559.
[12] AERTBELIEN E，DE SCHUTTER J. eTaSL/eTC：A constraint-based task specification language and robot controller using expression graphs[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems，2014：1540-1546.
[13] MICHNIEWICZ J，REINHART G. Cyber-physical- robotics-modelling of modular robot cells for automated planning and execution of assembly tasks[J]. Mechatronics，2016，34：170-180.
[14] NAGELE F，HALT L，TENBROCK P，et al. A prototype-based skill model for specifying robotic assembly tasks[C]// IEEE International Conference on Robotics and Automation (ICRA)，2018：558-565.
[15] 付艳，汤贤，刘世平，等. 基于人机协同的人形机器人实时任务规划[J]. 华中科技大学学报(自然科学版)，2017，45(1)：76-81. FU Yan，TANG Xian，LIU Shiping，et al. Real-time task planning for humanoid robot based on human-robot cooperation[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition)，2017，45(1)：76-81.
[16] FU Y，ZHU G，ZHU M，et al. Digital twin for integration of design-manufacturing-maintenance：An overview[J]. Chinese Journal of Mechanical Engineering，2022，35(4)：1-20.
[17] BILBERG A，MALIK A. A Digital twin driven human-robot collaborative assembly[J]. CIRP Annals，2019，68(1)：499-502.
[18] TIPARY B，ERDŐS G. Generic development methodology for flexible robotic pick-and-place workcells based on digital twin[J]. Robotics and Computer- Integrated Manufacturing，2021，71：102140.
[19] 杨赓，周慧颖，王柏村. 数字孪生驱动的智能人机协作：理论、技术与应用[J]. 机械工程学报，2022，58(18)：279-291. YANG Geng，ZHOU Huiying，WANG Baicun. Digital twin-driven smart human-machine collaboration：theory，enabling technologies and applications[J]. Journal of Mechanical Engineering，2022，58(18)：279-291.
[20] ZHUANG C，LIU Z，LIU J，et al. Digital twin-based quality management method for the assembly process of aerospace products with the grey-markov model and apriori algorithm[J]. Chinese Journal of Mechanical Engineering，2022，35(5)：66-86.
[21] SUN X，BAO J，LI J，et al. A digital twin-driven approach for the assembly-commissioning of high precision products[J]. Robotics and Computer-Integrated Manufacturing，2020，61：101839.
[22] WANG K，LIU D，LIU Z，et al. An assembly precision analysis method based on a general part digital twin model[J]. Robotics and Computer-Integrated Manufacturing，2021，68：102089.
[23] OU L M，XU X. Relationship matrix based automatic assembly sequence generation from a CAD model[J]. Computer-Aided Design，2013，45(7)：1053-1067.
[24] WANG K，LIU D，LIU Z，et al. A fast object registration method for augmented reality assembly with simultaneous determination of multiple 2D-3D correspondences[J]. Robotics and Computer-Integrated Manufacturing，2020，63：101890.

基于数据融合与知识推理的机器人装配单元数字孪生建模方法研究

Research on Digital Twin Modeling Method for Robotic Assembly Cell Based on Data Fusion and Knowledge Reasoning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	万航, 聂士达, 张猗淼, 刘辉, 张晨, 项昌乐. 基于张量积建模的全轮独立转向车辆横向运动控制[J]. 机械工程学报, 2026, 62(8): 285-297.
[2]	魏朝辉, 王子航, 叶祥瑞, 张开富, 程晖, 郭留明, 梁德建. 多传感融合的深腔体结构装配过程实时感知与精准控制技术[J]. 机械工程学报, 2026, 62(7): 52-66.
[3]	杨毅晟, 李明, 杨泽源, 闫喜强, 严思杰, 丁汉. 数字技术赋能风洞全生命周期体系[J]. 机械工程学报, 2026, 62(7): 97-113.
[4]	王金龙, 宣泳辉, 冀秀坤, 鲍永杰, 石泽宇. 基于单向降阶高保真代理模型的CFRP机翼力学状态数字孪生研究[J]. 机械工程学报, 2026, 62(7): 126-138.
[5]	罗忠, 李洪雨, 李雷, 董胤哲. 数字孪生驱动的转子系统变工况难测点响应实时预测方法[J]. 机械工程学报, 2026, 62(7): 221-233.
[6]	赵向阳, 焦彦龙, 侯新想, 王瑾, 邢建康, 谢天伟, 周娜, 李玉鹏, 姬凤川, 彭艳. 轧机辊系装配结构服役精度研究[J]. 机械工程学报, 2026, 62(6): 29-46.
[7]	董梓硕, 郭薇, 严乐明, 张敏, 于孟, 李继新. 无头轧制非稳态阶段FET数据驱动预测及分析[J]. 机械工程学报, 2026, 62(6): 163-173.
[8]	杨泽浩, 董威, 黄思翰, 阴艳超, 董李扬, 郑祖杰. 基于数字孪生和强化学习的智能生产线实时调度仿真优化方法[J]. 机械工程学报, 2026, 62(5): 12-25.
[9]	田诗晨, 张春江, 高亮, 李新宇. 总装拉动生产模式下的分布式装配作业车间多目标调度方法[J]. 机械工程学报, 2026, 62(5): 26-36.
[10]	许鸿伟, 刘丽兰, 张洁, 秦威, 邢宏文, 汪玮, 刘思仁, 吕佑龙. 工业大模型驱动的航空智能制造AI孪生控制方法体系[J]. 机械工程学报, 2026, 62(5): 61-73.
[11]	黄铭, 黄思翰, 陈建鹏, 董威, 王柏村, 阮兵, 高云鹏, 王国新, 阎艳. 基于多目标深度强化学习的不确定扰动下岛式装配线动态调度优化[J]. 机械工程学报, 2026, 62(5): 74-87.
[12]	林松, 戴建生, 宋屹峰, 王洪光, 袁兵兵. 具有可重构躯干的轮式移动机器人曲面运动特性分析[J]. 机械工程学报, 2026, 62(5): 168-181.
[13]	郭世航, 王神龙, 侯锦辉, 李永歌. 单磁驱动多自由度软体机器鱼设计与动力学建模[J]. 机械工程学报, 2026, 62(5): 215-229.
[14]	吴锦辉, 陈永昶, 吴亚男, 郝会乾, 袁翔, 陶友瑞. 数字孪生驱动的反射面天线运行状态监测与虚拟调试方法[J]. 机械工程学报, 2026, 62(5): 263-273.
[15]	舒正涛, 赵康, 高亮, 李好. 中空各向同性点阵结构优化设计方法[J]. 机械工程学报, 2026, 62(5): 408-418.