结构化环境下基于点线特征的VI-SLAM系统

doi:10.3901/JME.2024.06.296

机械工程学报 ›› 2024, Vol. 60 ›› Issue (6): 296-305.doi: 10.3901/JME.2024.06.296

扫码分享

结构化环境下基于点线特征的VI-SLAM系统

郭翼彪¹, 周云水¹, 黄圣杰¹, 刘硕¹, 谢国涛^1,2, 秦晓辉^1,2

1. 湖南大学机械与运载工程学院长沙 410082;
2. 湖南大学无锡智能控制研究院无锡 214072

收稿日期:2023-05-08 修回日期:2023-11-28 出版日期:2024-03-20 发布日期:2024-06-07
通讯作者: 秦晓辉，男，1988年出生，博士，副研究员。主要研究方向为智能汽车，面向自动驾驶的SLAM。E-mail：qxh8880507@163.com
作者简介:郭翼彪，男，1998年出生。主要研究方向为视觉SLAM、多传感器融合的SLAM。E-mail：biaoyg2580@163.com
基金资助:
国家自然科学基金(52102456， 52172384)、长沙市自然科学基金(kq2202162)和汽车车身先进设计制造国家重点实验室开放课题(32115013)资助项目。

VI-SLAM System Based on Point-line Features in Structured Environment

GUO Yibiao¹, ZHOU Yunshui¹, HUANG Shengjie¹, LIU Shuo¹, XIE Guotao^1,2, QIN Xiaohui^1,2

1. College of Mechanical and Vehicle Engineering, Hunan University, Changsha 410082;
2. Wuxi Intelligent Control of Research InstituteWICRI of Hunan University, Wuxi 214072

Received:2023-05-08 Revised:2023-11-28 Online:2024-03-20 Published:2024-06-07

摘要/Abstract

摘要： 现阶段室内等结构化环境中的机器人定位技术备受关注，视觉-惯性传感器融合的同时定位与建图(visual-inertial simultaneous localization and mapping，VI-SLAM)系统凭借其成本低、体积小、互补性高等优点得到广泛应用。针对现有VI-SLAM系统中相机和IMU的旋转外参在线初始化困难、室内环境中的结构化特征利用不充分等问题，提出一种结构化环境下基于点线特征的双目VI-SLAM系统。该系统基于结构化环境中的线特征，采用先静止、后运动的两步法，在线初始化相机和IMU之间的旋转外参，并通过融合视觉提供的点、线特征的重投影误差约束和IMU提供的预积分约束，共同优化定位系统的状态量。在EuRoC室内无人机数据集和真实地下停车场中的试验表明，两步初始化旋转外参算法有效且准确，可为优化环节提供良好的初始值，通过与多种视觉定位算法进行对比，验证了该系统拥有更高的定位精度。

关键词: 同时定位与建图, 视觉-惯性, 点线特征, 在线初始化

Abstract: Robot localization technology in structured environments such as indoor has attracted much attention at present. The visual-inertial simultaneous localization and mapping (VI-SLAM) system has been widely used with its low-cost, small-size and high-complementarity. A stereo VI-SLAM system based on point-line features in structured environment is proposed to overcome the difficulty in camera-IMU extrinsic online calibration and insufficient utilization of structured features in the existing VI-SLAM system. Based on the line features in the structured environment, the system uses a two-step method of first stationary and then moving to online initialize the camera-IMU extrinsic parameters, and jointly optimizes the state variables of the localization system by fusing the re-projection error constraints of the point-line features provided by vision and the pre-integration constraints provided by IMU. Experiments on EuRoC indoor UAV datasets and real underground parking lot show that the two-step initialization extrinsic parameters algorithm is effective and accurate to provide good initial value for optimization. Compared with other localization algorithms, the system has higher localization accuracy.

Key words: SLAM, visual-inertial, point-line feature, online initialization

中图分类号:

TG156

郭翼彪, 周云水, 黄圣杰, 刘硕, 谢国涛, 秦晓辉. 结构化环境下基于点线特征的VI-SLAM系统[J]. 机械工程学报, 2024, 60(6): 296-305.

GUO Yibiao, ZHOU Yunshui, HUANG Shengjie, LIU Shuo, XIE Guotao, QIN Xiaohui. VI-SLAM System Based on Point-line Features in Structured Environment[J]. Journal of Mechanical Engineering, 2024, 60(6): 296-305.

导出引用管理器 EndNote|Reference Manager|ProCite|BibTeX|RefWorks

链接本文: http://www.cjmenet.com.cn/CN/10.3901/JME.2024.06.296

http://www.cjmenet.com.cn/CN/Y2024/V60/I6/296

参考文献

[1] SMITH R C，CHEESEMAN P. On the representation and estimation of spatial uncertainty[J]. The International Journal of Robotics Research，1986，5(4)：56-68.
[2] 阴贺生，裴硕，徐磊，等. 多机器人视觉同时定位与建图技术研究综述[J]. 机械工程学报，2022，58(11)：11-36. YIN Hesheng，PEI Shuo，XU Lei，et al. Review of research on multi-robot visual simultaneous localization and mapping[J]. Journal of Mechanical Engineering，2022，58(11)：11-36.
[3] 邢志伟，朱晓蕊，何超. 基于行人行为学习的机器人同时定位与可通行区域制图[J]. 机械工程学报，2019，55(11)：36-45. XING Zhiwei，ZHU Xiaorui，HE Chao. Simultaneous localization and traversable region mapping based on pedestrian behavior learning[J]. Journal of Mechanical Engineering，2019，55(11)：36-45.
[4] 秦晓辉，王哲文，庞涛，等. 基于车辆模型紧耦合的封闭园区车辆定位方法[J]. 汽车工程，2021，43(9)：1328-1335. QIN Xiaohui，WANG Zhewen，PANG Tao，et al. Vehicle positioning method based on tight coupling of vehicle model in enclosed environments[J]. Automotive Engineering，2021，43(9)：1328-1335.
[5] NEWCOMBE R A，LOVEGROVE S J，DAVISON A J. DTAM：Dense tracking and mapping in real-time[C]// 2011 international conference on computer vision. IEEE，2011：2320-2327.
[6] ENGEL J，SCHÖPS T，CREMERS D. LSD-SLAM：Large-scale direct monocular SLAM[C]//European conference on Computer Vision. Springer，Cham，2014：834-849.
[7] KLEIN G，MURRAY D. Parallel tracking and mapping for small AR workspaces[C]//20076th IEEE and ACM International Symposium on Mixed and Augmented Reality. IEEE，2007：225-234.
[8] MUR-ARTAL R，TARDÓS J D. Orb-slam2：An open-source slam system for monocular，stereo，and rgb-d cameras[J]. IEEE Transactions on Robotics，2017，33(5)：1255-1262.
[9] PUMAROLA A，VAKHITOV A，AGUDO A，et al. PL-SLAM：Real-time monocular visual SLAM with points and lines[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE，2017：4503-4508.
[10] NOWAK E，JURIE F，TRIGGS B. Sampling strategies for bag-of-features image classification[C]//European Conference on Computer Vision. Springer，Berlin，Heidelberg，2006：490-503.
[11] ZHOU L，WANG S，KAESS M. DPLVO：Direct point-line monocular visual odometry[J]. IEEE Robotics and Automation Letters，2021，6(4)：7113-7120.
[12] ZHOU L，HUANG G，MAO Y，et al. EDPLVO：Efficient direct point-line visual odometry[C]//2022 International Conference on Robotics and Automation (ICRA). IEEE，2022：7559-7565.
[13] 蔡英凤，陆子恒，李祎承，等. 基于多传感器融合的紧耦合SLAM系统[J]. 汽车工程，2022，44(3)：350-361. CAI Yingfeng，LU Ziheng，LI Yicheng，et al. Tightly coupled SLAM system based on multi-sensor fusion[J]. Automotive Engineering，2022，44(3)：350-361.
[14] 申文杰，任永杰，朱博源，等. 结合人工信标和视觉SLAM的自主快速定位方法[J]. 机械工程学报，2022，58(14)：137-145. SHEN Wenjie，REN Yongjie，ZHU Boyuan，et al. Autonomous fast localization method combining artificial beacons and visual SLAM[J]. Journal of Mechanical Engineering，2022，58(14)：137-145.
[15] CAMPOS C，ELVIRA R，RODRÍGUEZ J J G，et al. Orb-slam3：An accurate open-source library for visual，visual–inertial，and multimap slam[J]. IEEE Transactions on Robotics，2021，37(6)：1874-1890.
[16] QIN T，LI P，SHEN S. Vins-mono：A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics，2018，34(4)：1004-1020.
[17] HE Y，ZHAO J，GUO Y，et al. Pl-vio：Tightly-coupled monocular visual–inertial odometry using point and line features[J]. Sensors，2018，18(4)：1159-1183.
[18] LEE J，PARK S Y. PLF-VINS：Real-time monocular visual-inertial SLAM with point-line fusion and parallel-line fusion[J]. IEEE Robotics and Automation Letters，2021，6(4)：7033-7040.
[19] KÜMMERLE R，GRISETTI G，STRASDAT H，et al. g2o：A general framework for graph optimization[C]// 2011 IEEE International Conference on Robotics and Automation. IEEE，2011：3607-3613.
[20] BARTOLI A，STURM P. The 3D line motion matrix and alignment of line reconstructions[J]. International Journal of Computer Vision，2004，57(3)：159-178.
[21] ZHANG G，LEE J H，LIM J，et al. Building a 3-D line-based map using stereo SLAM[J]. IEEE Transactions on Robotics，2015，31(6)：1364-1377.
[22] BARTOLI A，STURM P. Structure-from-motion using lines：Representation，triangulation，and bundle adjustment[J]. Computer vision and image understanding，2005，100(3)：416-441.
[23] FISCHLER M A. A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of ACM，1981，24(6)：381-395.
[24] LI S，XU C，XIE M. A robust O (n) solution to the perspective-n-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(7)：1444-1450.
[25] BURRI M，NIKOLIC J，GOHL P，et al. The EuRoC micro aerial vehicle datasets[J]. The International Journal of Robotics Research，2016，35(10)：1157-1163.
[26] VERETELNIKOVA E L，ELANTSEVA I L. Selection of factor for root mean square minimum error criterion[C]//201613th International Scientific-Technical Conference on Actual Problems of Electronics Instrument Engineering (APEIE). IEEE，2016，2：221-223.

结构化环境下基于点线特征的VI-SLAM系统

VI-SLAM System Based on Point-line Features in Structured Environment

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	章新杰, 汪路航, 郭孔辉, 刘阳, 金耿瑞, 姚全. 主动外倾前束悬架系统协同优化设计方法[J]. 机械工程学报, 2026, 62(8): 21-32.
[2]	陈俊杰, 唐禹洲, 杨树军, 邬明宇. 双层帘线增强空气弹簧橡胶气囊各向异性超-黏弹性本构模型[J]. 机械工程学报, 2026, 62(8): 49-59.
[3]	彭闪闪, 贺林, 徐子昂, 王铭哲, 魏宇江, 石琴. 无感线控转向阻力矩比积观测器与转角反步控制[J]. 机械工程学报, 2026, 62(8): 114-124.
[4]	熊璐, 胡旭歌, 吕浩然, 唐辰. 面向车辆运动控制的路面不平度识别综述[J]. 机械工程学报, 2026, 62(8): 139-156.
[5]	吴建洋, 王俊业, 杨波, 丁晓林, 刘欣, 张雷. 多轴重载分布式电驱动车辆全轮转向控制研究[J]. 机械工程学报, 2026, 62(8): 317-331.
[6]	肖跃, 贺宜, 张鸣. 基于分层式MPC的分布式四轮驱动车辆轨迹跟踪控制方法[J]. 机械工程学报, 2026, 62(8): 475-488.
[7]	王裕祥, 高阳, 蒋恩超, 董娜, 陈旭东, 彭凡, 王立闻. 基于GAF-MACNN的风机叶片健康状态监测方法[J]. 机械工程学报, 2026, 62(7): 139-149.
[8]	雷卓, 乔百杰, 王亚南, 杜军, 梁俊, 刘元是, 伏宇, 陈雪峰. 基于SPOQ正则项的叶端定时信号稀疏重构[J]. 机械工程学报, 2026, 62(7): 208-220.
[9]	郭文华, 汪科, 郑稳, 王玉忠, 徐晨, 冀千瑜, 冯祖仁. 电子枪偏转电压均值估计标定方法[J]. 机械工程学报, 2026, 62(7): 385-395.
[10]	刘俊杰, 张友超, 张厚超, 张兵, 许权, 朱晓阳, 兰红波. 基于电场驱动微3D打印增减材复合制造高精度铜基柔性透明电路[J]. 机械工程学报, 2026, 62(7): 427-438.
[11]	葛正辉, 王睿, 胡启凡, 朱永伟. 铝合金表面电化学毛化处理及其粘接性能研究[J]. 机械工程学报, 2026, 62(7): 462-477.
[12]	邵健, 何安瑞, 杨荃. 宽幅热轧带钢高效集约生产与质量精益管控研究进展[J]. 机械工程学报, 2026, 62(6): 1-28.
[13]	周强, 陆红红, 郭登刚, 陈鹏万, 王宝雨. 爆炸焊接+轧制制备TA2/TC4钛合金复合材料界面微结构及力学行为研究[J]. 机械工程学报, 2026, 62(6): 100-110.
[14]	束学道, 陈宇森, 王英, 代月晨, 左锦荣, 张庆东. 铝合金空心轴形孔同步成形协调机制与智能调控[J]. 机械工程学报, 2026, 62(6): 121-131.
[15]	原源, 刘秀成, 祁攀, 曹文博, 王峥鸿, 吴斌, 高翔. 基于磁致伸缩SH₀导波传感器换能曲线的表面硬度无损检测方法[J]. 机械工程学报, 2026, 62(6): 228-236.