结构化环境下基于点线特征的VI-SLAM系统

doi:10.3901/JME.2024.06.296

机械工程学报 ›› 2024, Vol. 60 ›› Issue (6): 296-305.doi: 10.3901/JME.2024.06.296

扫码分享

结构化环境下基于点线特征的VI-SLAM系统

郭翼彪¹, 周云水¹, 黄圣杰¹, 刘硕¹, 谢国涛^1,2, 秦晓辉^1,2

1. 湖南大学机械与运载工程学院长沙 410082;
2. 湖南大学无锡智能控制研究院无锡 214072

收稿日期:2023-05-08 修回日期:2023-11-28 出版日期:2024-03-20 发布日期:2024-06-07
通讯作者: 秦晓辉，男，1988年出生，博士，副研究员。主要研究方向为智能汽车，面向自动驾驶的SLAM。E-mail：qxh8880507@163.com
作者简介:郭翼彪，男，1998年出生。主要研究方向为视觉SLAM、多传感器融合的SLAM。E-mail：biaoyg2580@163.com
基金资助:
国家自然科学基金(52102456， 52172384)、长沙市自然科学基金(kq2202162)和汽车车身先进设计制造国家重点实验室开放课题(32115013)资助项目。

VI-SLAM System Based on Point-line Features in Structured Environment

GUO Yibiao¹, ZHOU Yunshui¹, HUANG Shengjie¹, LIU Shuo¹, XIE Guotao^1,2, QIN Xiaohui^1,2

1. College of Mechanical and Vehicle Engineering, Hunan University, Changsha 410082;
2. Wuxi Intelligent Control of Research InstituteWICRI of Hunan University, Wuxi 214072

Received:2023-05-08 Revised:2023-11-28 Online:2024-03-20 Published:2024-06-07

摘要/Abstract

摘要： 现阶段室内等结构化环境中的机器人定位技术备受关注，视觉-惯性传感器融合的同时定位与建图(visual-inertial simultaneous localization and mapping，VI-SLAM)系统凭借其成本低、体积小、互补性高等优点得到广泛应用。针对现有VI-SLAM系统中相机和IMU的旋转外参在线初始化困难、室内环境中的结构化特征利用不充分等问题，提出一种结构化环境下基于点线特征的双目VI-SLAM系统。该系统基于结构化环境中的线特征，采用先静止、后运动的两步法，在线初始化相机和IMU之间的旋转外参，并通过融合视觉提供的点、线特征的重投影误差约束和IMU提供的预积分约束，共同优化定位系统的状态量。在EuRoC室内无人机数据集和真实地下停车场中的试验表明，两步初始化旋转外参算法有效且准确，可为优化环节提供良好的初始值，通过与多种视觉定位算法进行对比，验证了该系统拥有更高的定位精度。

关键词: 同时定位与建图, 视觉-惯性, 点线特征, 在线初始化

Abstract: Robot localization technology in structured environments such as indoor has attracted much attention at present. The visual-inertial simultaneous localization and mapping (VI-SLAM) system has been widely used with its low-cost, small-size and high-complementarity. A stereo VI-SLAM system based on point-line features in structured environment is proposed to overcome the difficulty in camera-IMU extrinsic online calibration and insufficient utilization of structured features in the existing VI-SLAM system. Based on the line features in the structured environment, the system uses a two-step method of first stationary and then moving to online initialize the camera-IMU extrinsic parameters, and jointly optimizes the state variables of the localization system by fusing the re-projection error constraints of the point-line features provided by vision and the pre-integration constraints provided by IMU. Experiments on EuRoC indoor UAV datasets and real underground parking lot show that the two-step initialization extrinsic parameters algorithm is effective and accurate to provide good initial value for optimization. Compared with other localization algorithms, the system has higher localization accuracy.

Key words: SLAM, visual-inertial, point-line feature, online initialization

中图分类号:

TG156

郭翼彪, 周云水, 黄圣杰, 刘硕, 谢国涛, 秦晓辉. 结构化环境下基于点线特征的VI-SLAM系统[J]. 机械工程学报, 2024, 60(6): 296-305.

GUO Yibiao, ZHOU Yunshui, HUANG Shengjie, LIU Shuo, XIE Guotao, QIN Xiaohui. VI-SLAM System Based on Point-line Features in Structured Environment[J]. Journal of Mechanical Engineering, 2024, 60(6): 296-305.

参考文献

[1] SMITH R C，CHEESEMAN P. On the representation and estimation of spatial uncertainty[J]. The International Journal of Robotics Research，1986，5(4)：56-68.
[2] 阴贺生，裴硕，徐磊，等. 多机器人视觉同时定位与建图技术研究综述[J]. 机械工程学报，2022，58(11)：11-36. YIN Hesheng，PEI Shuo，XU Lei，et al. Review of research on multi-robot visual simultaneous localization and mapping[J]. Journal of Mechanical Engineering，2022，58(11)：11-36.
[3] 邢志伟，朱晓蕊，何超. 基于行人行为学习的机器人同时定位与可通行区域制图[J]. 机械工程学报，2019，55(11)：36-45. XING Zhiwei，ZHU Xiaorui，HE Chao. Simultaneous localization and traversable region mapping based on pedestrian behavior learning[J]. Journal of Mechanical Engineering，2019，55(11)：36-45.
[4] 秦晓辉，王哲文，庞涛，等. 基于车辆模型紧耦合的封闭园区车辆定位方法[J]. 汽车工程，2021，43(9)：1328-1335. QIN Xiaohui，WANG Zhewen，PANG Tao，et al. Vehicle positioning method based on tight coupling of vehicle model in enclosed environments[J]. Automotive Engineering，2021，43(9)：1328-1335.
[5] NEWCOMBE R A，LOVEGROVE S J，DAVISON A J. DTAM：Dense tracking and mapping in real-time[C]// 2011 international conference on computer vision. IEEE，2011：2320-2327.
[6] ENGEL J，SCHÖPS T，CREMERS D. LSD-SLAM：Large-scale direct monocular SLAM[C]//European conference on Computer Vision. Springer，Cham，2014：834-849.
[7] KLEIN G，MURRAY D. Parallel tracking and mapping for small AR workspaces[C]//20076th IEEE and ACM International Symposium on Mixed and Augmented Reality. IEEE，2007：225-234.
[8] MUR-ARTAL R，TARDÓS J D. Orb-slam2：An open-source slam system for monocular，stereo，and rgb-d cameras[J]. IEEE Transactions on Robotics，2017，33(5)：1255-1262.
[9] PUMAROLA A，VAKHITOV A，AGUDO A，et al. PL-SLAM：Real-time monocular visual SLAM with points and lines[C]//2017 IEEE International Conference on Robotics and Automation (ICRA). IEEE，2017：4503-4508.
[10] NOWAK E，JURIE F，TRIGGS B. Sampling strategies for bag-of-features image classification[C]//European Conference on Computer Vision. Springer，Berlin，Heidelberg，2006：490-503.
[11] ZHOU L，WANG S，KAESS M. DPLVO：Direct point-line monocular visual odometry[J]. IEEE Robotics and Automation Letters，2021，6(4)：7113-7120.
[12] ZHOU L，HUANG G，MAO Y，et al. EDPLVO：Efficient direct point-line visual odometry[C]//2022 International Conference on Robotics and Automation (ICRA). IEEE，2022：7559-7565.
[13] 蔡英凤，陆子恒，李祎承，等. 基于多传感器融合的紧耦合SLAM系统[J]. 汽车工程，2022，44(3)：350-361. CAI Yingfeng，LU Ziheng，LI Yicheng，et al. Tightly coupled SLAM system based on multi-sensor fusion[J]. Automotive Engineering，2022，44(3)：350-361.
[14] 申文杰，任永杰，朱博源，等. 结合人工信标和视觉SLAM的自主快速定位方法[J]. 机械工程学报，2022，58(14)：137-145. SHEN Wenjie，REN Yongjie，ZHU Boyuan，et al. Autonomous fast localization method combining artificial beacons and visual SLAM[J]. Journal of Mechanical Engineering，2022，58(14)：137-145.
[15] CAMPOS C，ELVIRA R，RODRÍGUEZ J J G，et al. Orb-slam3：An accurate open-source library for visual，visual–inertial，and multimap slam[J]. IEEE Transactions on Robotics，2021，37(6)：1874-1890.
[16] QIN T，LI P，SHEN S. Vins-mono：A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics，2018，34(4)：1004-1020.
[17] HE Y，ZHAO J，GUO Y，et al. Pl-vio：Tightly-coupled monocular visual–inertial odometry using point and line features[J]. Sensors，2018，18(4)：1159-1183.
[18] LEE J，PARK S Y. PLF-VINS：Real-time monocular visual-inertial SLAM with point-line fusion and parallel-line fusion[J]. IEEE Robotics and Automation Letters，2021，6(4)：7033-7040.
[19] KÜMMERLE R，GRISETTI G，STRASDAT H，et al. g2o：A general framework for graph optimization[C]// 2011 IEEE International Conference on Robotics and Automation. IEEE，2011：3607-3613.
[20] BARTOLI A，STURM P. The 3D line motion matrix and alignment of line reconstructions[J]. International Journal of Computer Vision，2004，57(3)：159-178.
[21] ZHANG G，LEE J H，LIM J，et al. Building a 3-D line-based map using stereo SLAM[J]. IEEE Transactions on Robotics，2015，31(6)：1364-1377.
[22] BARTOLI A，STURM P. Structure-from-motion using lines：Representation，triangulation，and bundle adjustment[J]. Computer vision and image understanding，2005，100(3)：416-441.
[23] FISCHLER M A. A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of ACM，1981，24(6)：381-395.
[24] LI S，XU C，XIE M. A robust O (n) solution to the perspective-n-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(7)：1444-1450.
[25] BURRI M，NIKOLIC J，GOHL P，et al. The EuRoC micro aerial vehicle datasets[J]. The International Journal of Robotics Research，2016，35(10)：1157-1163.
[26] VERETELNIKOVA E L，ELANTSEVA I L. Selection of factor for root mean square minimum error criterion[C]//201613th International Scientific-Technical Conference on Actual Problems of Electronics Instrument Engineering (APEIE). IEEE，2016，2：221-223.

结构化环境下基于点线特征的VI-SLAM系统

VI-SLAM System Based on Point-line Features in Structured Environment

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	方续东, 邓武彬, 吴祖堂, 李进, 吴晨, 前田龙太郎, 田边, 赵立波, 林启敬, 张仲恺, 韩香广, 蒋庄德. 基于惯性传感器的呼吸测量技术综述[J]. 机械工程学报, 2024, 60(20): 1-23.
[2]	傅杨, 张跃, 毛颖, 唐小华, 陈祖高, 徐和武, 杨雨沛, 高斌, 田贵云. 基于Feature Boosting的管道电磁内检测多传感信号缺陷解析算法[J]. 机械工程学报, 2024, 60(20): 51-67.
[3]	吴洁, 沈以赴, 黄国强. 2024铝合金填丝TIG焊接头搅拌摩擦加工组织和性能研究[J]. 机械工程学报, 2024, 60(20): 153-161.
[4]	张志勇, 王宇翔, 黄彩霞, 吴悠, 杜荣华. 融合灰色预测和卡尔曼滤波的车辆侧向碰撞预警[J]. 机械工程学报, 2024, 60(20): 240-250.
[5]	廖贵文, 张毅, 魏凯, 刘小君, 王伟. 受限润滑界面液固二相流场结构与颗粒运动行为耦合特性分析[J]. 机械工程学报, 2024, 60(20): 351-360.
[6]	王旭, 姜兴宇, 杨国哲, 孙猛, 于沈弘, 毕凯航, 赵日铮, 刘伟军. 基于PSO-SSA的激光清洗装备人机界面布局优化研究[J]. 机械工程学报, 2024, 60(20): 372-387.
[7]	王德祥, 张宇, 江京亮, 刘新福, 刘国梁. 离子液基和棕榈油基纳米流体在镍基高温合金微量润滑磨削界面的摩擦学机理研究[J]. 机械工程学报, 2024, 60(19): 159-171.
[8]	李浦, 逯代兴. 协同仿真算法研究综述[J]. 机械工程学报, 2024, 60(19): 172-186.
[9]	王晓宇, 魏兆成, 王学勤, 王栋. 整体叶轮双列开槽五轴插铣加工的残留材料建模[J]. 机械工程学报, 2024, 60(19): 310-317.
[10]	王高见, 刘丽, 康丹丹, 叶延洪, 邓德安. Ni含量对高速列车转向架耐候钢焊缝金属微观组织、力学性能及腐蚀行为的影响[J]. 机械工程学报, 2024, 60(18): 163-172.
[11]	张明康, 师文庆, 徐梅珍, 王迪, 陈杰. 隐式曲面多孔结构压缩性能与流体压降性能研究[J]. 机械工程学报, 2024, 60(18): 394-406.
[12]	马伟佳, 朱小龙, 刘青瑶, 段星光, 李长胜. 人工智能在机器人辅助手术中的应用[J]. 机械工程学报, 2024, 60(17): 22-39.
[13]	袁小庆, 吴涛, 原勋, 王文东. 基于GSO-RF意图识别算法的全身助力外骨骼控制方法研究[J]. 机械工程学报, 2024, 60(17): 91-101.
[14]	张禹泽, 赵竞夫, 赵振伟, 康荣杰, 戴建生, 宋智斌. 面向多关节训练的并联柔索驱动下肢康复机器人设计与分析[J]. 机械工程学报, 2024, 60(17): 111-122.
[15]	梁旭, 张建勇, 李国涛, 苏婷婷, 何广平, 侯增广. 面向骨折复位手术的冗余并联机构：设计、建模与性能分析[J]. 机械工程学报, 2024, 60(17): 133-146.