• CN:11-2187/TH
  • ISSN:0577-6686

机械工程学报 ›› 2019, Vol. 55 ›› Issue (11): 98-104.doi: 10.3901/JME.2019.11.098

• 特邀专栏:共融机器人 • 上一篇    下一篇

面向机器人环境共融的图像去雪算法

李鹏越1,2,3, 田建东2,3, 王国霖2,3,4, 李小毛5, 唐延东2,3, 吴成东1   

  1. 1. 东北大学机器人科学与工程学院 沈阳 110819;
    2. 中国科学院沈阳自动化研究所机器人学国家重点实验室 沈阳 110016;
    3. 中国科学院机器人与智能制造创新研究院 沈阳 110016;
    4. 中国科学院大学 北京 100049;
    5. 上海大学机电工程与自动化学院 上海 200444
  • 收稿日期:2018-09-14 修回日期:2018-11-21 出版日期:2019-06-05 发布日期:2019-06-05
  • 通讯作者: 田建东(通信作者),男,1980年出生,研究员,博士研究生导师。主要研究方向为机器人视觉、成像计算与图像恢复。E-mail:tianjd@sia.cn
  • 作者简介:李鹏越,男,1990年出生,博士研究生。主要研究方向为坏天气下的图像处理和机器人视觉。E-mail:lipengyue@sia.cn;李小毛,男,1981年出生,副研究员,硕士研究生导师。主要研究方向为图像处理和无人艇。E-mail:lixiaomao@shu.edu.cn
  • 基金资助:
    国家自然科学基金资助项目(91648118,61473280,61821005)。

Image Snow Removal Methods for Robotic Environment Fusion

LI Pengyue1,2,3, TIAN Jiandong2,3, WANG Guolin2,3,4, LI Xiaomao5, TANG Yandong2,3, WU Chengdong1   

  1. 1. Faculty of Robot Science and Engineering, Northeastern University, Shenyang 110819;
    2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016;
    3. Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences, Shenyang 110016;
    4. University of Chinese Academy of Sciences, Beijing 100049;
    5. School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200444
  • Received:2018-09-14 Revised:2018-11-21 Online:2019-06-05 Published:2019-06-05

摘要: 针对雪天气影响共融机器人视觉系统鲁棒性的问题,提出了一种基于雪模型和深度学习融合的去雪算法。根据雪的成像过程推导了一个简化的雪模型,设计了一个基于该模型的深度去雪网络,该网络由雪花检测子网络和去除子网络串联组成。雪花检测子网络采用了残差学习网络,该网络可以准确地学习雪图像和无雪图像之间的差异。去雪子网络采用了密集连接的U型网络。它一方面利用U型网络保留背景的细节信息,另一方面利用DenseNet将低层特征复用到高层的特点来提高去雪的准确度,将它们结合后缓解了去雪过度导致背景细节丢失和去雪不彻底之间的矛盾。试验证明这种基于雪模型的深度去雪网络能够较好地检测和去除图像中的雪花。

关键词: 环境共融, 机器人, 去雪, 深度学习

Abstract: Aiming at the problem that snow weather affects the robustness of the fusion robotic vision system, a snow removal method based on snow model and deep learning is proposed. A simplified snow model is derived based on the snow imaging process, and a deep snow removal network is designed based on this model. The network consists of a snowflakes detection sub-network and a snowflakes removal sub-network. The snowflakes detection sub-network uses a residual learning network to accurately learn the difference between snow images and snow-free images. The desnowing sub-network adopts a densely connected U network. It usually can relieve the contradiction of over-desnowing and under-desnowing by using U-net to preserve image details and feature reuse of DenseNet to accuratelly remove snowflakes. Experiments show that the snow model-based deep networks can effectively detect and remove snowflakes from images.

Key words: deep learning, desnowing, environment fusion, robot

中图分类号: