考虑镜面反射和阴影的复杂曲面测量视点规划

doi:10.3901/JME.2024.15.304

机械工程学报 ›› 2024, Vol. 60 ›› Issue (15): 304-315.doi: 10.3901/JME.2024.15.304

扫码分享

考虑镜面反射和阴影的复杂曲面测量视点规划

罗晨¹, 邵佳丰¹, 王伟¹, 张刚², 周怡君¹

1. 东南大学机械工程学院南京 211189;
2. 无锡黎曼机器人科技有限公司无锡 214174

收稿日期:2023-12-27 修回日期:2024-03-08 出版日期:2024-08-05 发布日期:2024-09-24
作者简介:罗晨(通信作者)，女，1980年出生，副教授。主要研究方向为机器视觉、三维测量、公差建模。E-mail：chenluo@seu.edu.cn
基金资助:
国家自然科学基金资助项目(51975119)。

View Planning for Complex Surface Measurement Considering Specular Reflections and Shadows

LUO Chen¹, SHAO Jiafeng¹, WANG Wei¹, ZHANG Gang², ZHOU Yijun¹

1. School of Mechanical Engineering, Southeast University, Nanjing 211189;
2. Wuxi Riemann Robot Technology Co. Ltd., Wuxi 214174

Received:2023-12-27 Revised:2024-03-08 Online:2024-08-05 Published:2024-09-24

摘要/Abstract

摘要： 针对复杂曲面金属零件三维形貌测量的反光与自遮挡现象，提出一种面向复杂曲面光学测量的视点规划方法。方法具体分析了光线可达角度约束、视场和投影域约束、景深约束、遮挡约束和灰度值约束(反光或阴影)，并定义测量质量参数，结合测量覆盖率，建立了复杂曲面测量视点规划模型。由于模型的可行域空间庞大，提出了由基于生成再检测模式的粗规划和基于可视锥的精规划组成的视点规划求解方法，最后根据实际测量环境对叶轮离散模型进行了仿真研究得到测量视点，并通过实测试验验证仿真结果。结果表明：仿真结果的测量覆盖率可达96.19%，测量质量指标可达85.24%，实际试验能完整重构出叶轮形貌，验证了方法的可行性。

关键词: 机器视觉, 三维测量, 视点规划, 复杂曲面零件, 生成再检测模式

Abstract: Aiming at the reflection and self-occlusion phenomena in 3D topography measurement of complex metal parts, a multi-view visual measurement point planning method for complex surfaces is proposed. Constraints about angle of the reachable light, field of view, depth of field, occlusion and gray value (reflection or shadow) are analyzed in detail. Also measurement quality parameters are defined. Combined with the measurement coverage, the measurement point planning model of complex surface vision is established. Given the feasible region of the model is large, initial coarse planning and subsequent stage of fine planning are developed. The coarse planning is based on generate & test while fine planning is based upon the visual cone. Finally, experiments are carried out on a turbine impeller. The results show that the proposed method can produce measurement coverage of 96.19%, and the measurement quality index can reach 85.24%. The actual test can reconstruct the morphology of the impeller, which verifies the feasibility of the developed method.

Key words: machine vision, 3D measurement, viewpoint planning, complex surface, generate &, test

中图分类号:

TH741

罗晨, 邵佳丰, 王伟, 张刚, 周怡君. 考虑镜面反射和阴影的复杂曲面测量视点规划[J]. 机械工程学报, 2024, 60(15): 304-315.

LUO Chen, SHAO Jiafeng, WANG Wei, ZHANG Gang, ZHOU Yijun. View Planning for Complex Surface Measurement Considering Specular Reflections and Shadows[J]. Journal of Mechanical Engineering, 2024, 60(15): 304-315.

参考文献

[1] 李云雷，张曦，屠大维.基于立体定向靶标的探针式多视场三维视觉测量系统[J].光学精密工程，2019，27(1):34-44.LI Yunlei，ZHANG Xi，TU Dawei.Prob-based multi-view field 3D vision measurement system based on three-dimensional orientation target[J].Optics and Precision Engineering，2019，27(1):34-44.
[2] 张学昌，高学敏，邵建敏，等.基于三坐标测量仪的双目视觉测量方案及其数据分析[J].工具技术，2004，38(6):65-67.ZHANG Xuechang，GAO Xuemin，SHAO Jianmin，et al.A binocular vision measurement scheme based on three coordinate measuring instruments and its data analysis[J].Tool Technology，2004，38(6):65-67.
[3] GENG Jason.Structured-light 3D surface imaging:A tutorial[J].Advances in Optics and Photonics，2011，3(2):128-160.
[4] WU Chunghua.A general theory of three-dimensional flow in subsonic and supersonic turbomachines of axial-，radial-，and mixed-flow types[R].NACA TN2604，1952，1(1):16-18.
[5] 孙九爱，庄天戈.多眼定位器中摄像机的规划[J].上海交通大学学报，2000，1(11):1461-1463，1470.SUN Jiuai，ZHUANG Tiange.Camera Planning in multi-eye localizer[J].Journal of Shanghai Jiaotong University，2000，1(11):1461-1463，1470.
[6] OLAGUE G，MOHR R.Optimal camera placement for accurate reconstruction[J].Pattern Recongnition，2002，35(4):927-944.
[7] ALSADIK B S，GERKE M，VOSSELMAN G.Optimal camera network design for 3D modeling of cultural heritage[J].ISPRS Annals of Photogrammetry，Remote Sensing and Spatial Information Sciences，2012，I-3(1):8-11.
[8] 乔玉晶，谭世征，姜金刚.一种多视觉测量组网规划策略[J].光学学报，2018，38(5):216-223.QIAO Yujing，TAN Shizheng，JIANG Jingang.Planning strategy for multi-visual measurement networking[J].Acta Optica Sinica，2018，38(5):216-223.
[9] 陈佳毅，董明利，王君，等.大型槽式聚光器面形摄影测量网络规划方法研究[J].可再生能源，2016，34(3):353-359.CHEN Jiayi，DONG Mingli，WANG Jun，et al.Photogrammetric network design for large-scale trough concentrator surface measurement[J].Renewable Energy Resources，2016，34(3):353-359.
[10] 陈杰春，赵丽萍，张恒.立体视觉测量中的摄像机优化布局[J].机床与液压，2012，40(15):34-37.CHEN Jiechun，ZHAO Liping，ZHANG Heng.Optimal placement of cameras for stereo-vision metrology[J].Machine Toools & Hydraulics，2012，40(15):34-37.
[11] WANG Jinshan，TAO Bo，GONG Zeyu，et al.A mobile robotic measurement system for large-scale complex components based on optical scanning and visual tracking[J].Robotics and Computer-Integrated Manufacturing，2021，67(1):102010.
[12] TIAN Fang，DING Ye.A sampling-based motion planning method for active visual measurement with an industrial robot[J].Robotics and Computer-Integrated Manufacturing，2022，76(1):102322.
[13] 刘洪鹏，赵文政，刘银华，等.测量不确定度约束下的结构光检测视点规划方法[J].计算机集成制造系统，2022，28(4):1079-1086.LIU Hongpeng，ZHAO Wenzheng，LIU Yinhua，et al.Structured light detection viewpoint planning method under measurement uncertainty constraint[J].Computer Integrated Manufacturing System，2022，28(4):1079-1086.
[14] SAKANE S，ISH M，KAKIKURA M.Occlusion avoidance of visual sensors based on a hand-eye action simulator system:Heaven[J].Advanced Robotics，1987，2(2):149-165.
[15] 乔玉晶，王浩然，赵燕江.大尺寸曲面零件的双目视觉测量网络规划研究[J].仪器仪表学报，2015，36(4):913-918. QIAO Yujing，WANG Haoran，ZHAO Yanjiang.Study on binocular vision measurement network layout for large curved surface parts[J].Chinese Journal of Scientific Instrument，2015，36(4):913-918.
[16] REED M K，ALLEN P K，STAMOS I.3-D modeling from range imagery:An incremental method with a planning component[C].Proceedings of the International Conference on Recent Advances in 3-D Digital Imaging and Modeling，1997:76-83.
[17] 梁士通，杨建峰，薛彬.基于遗传算法的改进相位差法波前误差传感器技术研究[J].光学学报，2010，30(4):1015-1019.LIANG Shitong，YANG Jianfeng，XUE Bin.A new phase diversity wave-front error sensing method based on genetic algorithm[J].Acta Optica Sinica，2010，30(4):1015-1019.
[18] SCHAUFLER G，JENSEN H W.Ray tracing point sampled geometry[C]//Rendering Techniques 2000.Vienna: Springer Vienna，2000:319-328.
[19] 马国军.体素分类与Phong光照模型GPU加速体绘制[J].计算机工程与设计，2010，31(7):1529-1532.MA Guojun.Volume classification and GPU-accelerated volume rendering of Phong optical model[J].Computer Engineering and Design，2010，31(7):1529-1532.
[20] CHEN Shuzhen，LI Yufang.Automatic sensor placement for model-based robot vision[J].IEEE Transactions on Systems，Man，and Cybernetics.Part B (Cybernetics)，2004，34(1):393-408.
[21] 段裕刚，刘志兵，王西彬，等.基于可视锥理论的五轴加工刀具碰撞检验方法[J].计算机集成制造系统，2014，20(11):2814-2819.DUAN Yugang，LIU Zhibing，WANG Xibin，et al.Cutter collision analysis of five-axis machining based on visibility cone theory[J].Computer Intergrated Manufacturing Systems，2014，20(11):2814-2819.

考虑镜面反射和阴影的复杂曲面测量视点规划

View Planning for Complex Surface Measurement Considering Specular Reflections and Shadows

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	秦光林, 崔长彩, 尹方辰, 黄辉. 面向复杂立体石雕的机器人面扫描视点规划[J]. 机械工程学报, 2024, 60(8): 22-33.
[2]	何赟泽, 李响, 王洪金, 侯岳骏, 张帆, 牟欣颖, 刘浩, 程豪, 李时华, 李杰. 基于可见光和热成像的风机叶片全周期无损检测综述[J]. 机械工程学报, 2023, 59(6): 32-45.
[3]	陈红华, 魏泽勇, 谢乾, 魏明强, 汪俊. 基于三维点云深度学习的飞机表面多圆孔基元提取方法[J]. 机械工程学报, 2022, 58(14): 190-202.
[4]	孙殿柱, 沈江华, 李延瑞, 林伟. 序列图像约束的点云初始配准方法[J]. 机械工程学报, 2020, 56(9): 215-222.
[5]	朱永国, 张文博, 邓正平, 刘春锋. 基于激光跟踪仪和机器视觉的飞机翼身对接装配偏差动态综合修正[J]. 机械工程学报, 2019, 55(24): 187-196.
[6]	刘明周, 蒋倩男, 扈静. 基于面部几何特征及手部运动特征的驾驶员疲劳检测[J]. 机械工程学报, 2019, 55(2): 18-26.
[7]	单忠德, 张飞, 任永新, 张静, 聂军刚. 基于机器视觉铸件布氏硬度在线检测技术研究^*[J]. 机械工程学报, 2017, 53(1): 157-164.
[8]	郝永平, 王永杰, 董福禄, 路超. 平板类微小零件装配控制策略与软件架构研究[J]. 机械工程学报, 2015, 51(4): 193-198.
[9]	付生鹏, 赵吉宾, 夏仁波, 刘伟军. 基于成像模拟法的镜面体表面三维测量[J]. 机械工程学报, 2015, 51(10): 17-24.
[10]	张刚;石玗;黄健康;张卫杰;樊丁. 基于激光点阵的TIG焊熔池自由表面三维形貌测量方法[J]. , 2014, 50(24): 10-16.
[11]	王昭;黄军辉;高建民;薛琦. 基于光束法平差的结构光测量系统标定[J]. , 2013, 49(8): 32-40.
[12]	王耀南;吴成中;张辉;葛继;周博文;赵科. 医药输液视觉检测机器人关键技术综述[J]. , 2013, 49(7): 130-140.
[13]	张壮雅;张海光;万福平;刘媛媛;胡庆夕. 面向真空注型技术的双组分材料混合脱泡方法[J]. , 2013, 49(23): 28-35.
[14]	刘震;张广军;魏振忠. 基于双平面靶标的多视觉传感器现场全局校准[J]. , 2009, 45(7): 228-232.
[15]	刘震;张广军;魏振忠. 基于一维靶标的多摄像机现场全局校准[J]. , 2009, 45(4): 161-165.