[1]陈 毅,张 帅,汪贵平.基于激光雷达和摄像头信息融合的车辆检测算法[J].机械与电子,2020,(01):52-56.
　,Vehicle Detection Algorithm Based on Information Fusion of LIDAR and Camera[J].Machinery & Electronics,2020,(01):52-56.
点击复制

基于激光雷达和摄像头信息融合的车辆检测算法()
分享到：

机械与电子[ISSN:1001-2257/CN:52-1052/TH]

卷:
期数:
2020年01期
页码:
52-56
栏目:
自动控制与检测
出版日期:
2020-01-24

文章信息/Info

Title:
Vehicle Detection Algorithm Based on Information Fusion of LIDAR and Camera
文章编号:
１００１- ２２５７（２０２０）０１- ００５２- ０５
作者:
陈 毅; 张 帅; 汪贵平
长安大学电子与控制工程学院，陕西 西安 ７１００６４
Author(s):
ＣＨＥＮＹｉ; ＺＨＡＮＧＳｈｕａｉ; ＷＡＮＧＧｕｉｐｉｎｇ
ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇ’ａｎＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００６４，Ｃｈｉｎａ
关键词:
无人驾驶汽车; 车辆检测; 深度补全; 决策级融合; ＫＩＴＴＩ
Keywords:
分类号:
ＴＰ３９１
文献标志码:
A
摘要:
针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题，通过激光雷达数据和摄像头图像进行融合，提出了一种强鲁棒性实时车辆检测算法。首先，将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后，提出了决策级融合方法将两者的检测结果进行融合，得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估，实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。
Abstract:
Aiming at the problem that the camera is vulnerable to environmental interference in the vehicle detection of autonomous vehicle system, a robust real-time vehicle detection algorithm based on LIDAR and camera fusion was proposed. Firstly, the three-dimensional LIDAR point cloud was transformed into a two-dimensional dense depth map with the same image resolution by the depth completion method. Then, the color image and the dense depth map were respectively used to get the vehicle detection information through the YOLOv3 real-time object detection framework. Finally, a decision level fusion method was proposed to fuse the two detection results, and the final vehicle detection results were obtained. KITTI dataset was used to evaluate the algorithm. The experimental results show that the proposed algorithm fully meets the requirements of strong robustness, strong real-time performance and high detection accuracy required by the autonomous vehicle.

参考文献/References:

［１］ 张慧，王坤峰，王飞跃．深度学习在目标视觉检测中的应用进展与展 望 ［Ｊ］．自 动 化 学 报，２０１７，４３（８）：１２８９- １３０５．

［２］ ＧＩＲＳＨＩＣＫＲ，ＤＯＮＡＨＵＥＪ，ＤＡＲＲＥＬＬＡＮＤＴ，ｅｔ ａｌ．Ｒｉｃｈｆｅａｔｕｒｅｈｉｅｒａｒｃｈｉｅｓｆｏｒａｃｃｕｒａｔｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎａｎｄｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／ＴｈｅＰｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｃｏｌｕｍｂｕｓ：ＩＥＥＥ，２０１４：５８０- ５８７．
［３］ ＲＥＮＳ，ＨＥＫ，ＧＩＲＳＨＩＣＫＲ，ｅｔａｌ．ＦａｓｔｅｒＲ ＣＮＮ：Ｔｏｗａｒｄｓｒｅａｌ ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｗｉｔｈｒｅｇｉｏｎｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１５，３９（６）：１１３７- １１４９．
［４］ ＣＡＩＺ，ＦＡＮ Ｑ，ＦＥＲＩＳＲＳ，ｅｔａｌ．Ａｕｎｉｆｉｅｄｍｕｌｔｉ ｓｃａｌｅｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｆａｓｔｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ［Ｃ］／／ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ａｍｓｔｅｒｄａｍ：ＳｐｒｉｎｇｅｒＩｎｔｅｒｎａｔｉｏｎａｌＰｕｂｌｉｓｈｉｎｇ，２０１６：３５４- ３７０．
［５］ ＸＩＡＮＧＹ，ＣＨＯＩＷ，ＬＩＮ Ｙ，ｅｔａｌ．Ｓｕｂｃａｔｅｇｏｒｙ ａｗａｒｅｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓｆｏｒｏｂｊｅｃｔｐｒｏｐｏｓａｌｓａｎｄｄｅｔｅｃｔｉｏｎ［Ｃ］／／ＩＥＥＥＷｉｎｔｅｒＣｏｎｆｅｒｅｎｃｅｏｎＡｐｐｌｉｃａｔｉｏｎｓｏｆＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｓａｎｔａ Ｒｏｓａ：ＩＥＥＥ，２０１７：９２４- ９３３．
［６］ ＬＩＵ Ｗ，ＡＮＧＵＥＬＯＶ Ｄ，ＥＲＨＡＮ Ｄ，ｅｔａｌ．ＳＳＤ：ＳｉｎｇｌｅｓｈｏｔｍｕｌｔｉＢｏｘｄｅｔｅｃｔｏｒ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ａｍｓｔｅｒｄａｍ：
ＥＣＣＶ，２０１６：２１- ３７．
［７］ ＲＥＤＭＯＮＪ，ＤＩＷＡＬＡＳ，ＧＩＲＳＨＩＣＫ Ｒ，ｅｔａｌ．Ｙｏｕ ｏｎｌｙｌｏｏｋｏｎｃｅ：ｕｎｉｆｉｅｄ，ｒｅａｌ ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．ＬａｓＶｅｇａｓ：ＩＥＥＥ，２０１６：７７９- ７８８．
［８］ ＷＡＮＧＪ，ＬＩＵＦ．Ｔｅｍｐｏｒａｌｅｖｉｄｅｎｃｅｃｏｍｂｉｎａｔｉｏｎｍｅｔｈｏｄ ｆｏｒｍｕｌｔｉ ｓｅｎｓｏｒｔａｒｇｅｔｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎＤＳｔｈｅｏｒｙ
ａｎｄＩＦＳ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓ，２０１７，２８（６）：１１１４- １１２５．

备注/Memo

备注/Memo:
收稿日期：２０１９- ０９- １８
作者简介：陈 毅 （１９９６－），男，陕西西安人，硕士研究生，主要研究方向为无人驾驶汽车环境感知；张 帅 （１９９６－），男，陕西延安人，硕士研究生，主要研究方向为移动机器人；汪贵平 （１９６３－），男，湖北麻城人，博士，教授，主要研究方向为智能网联汽车。
更新日期/Last Update: 2020-01-13