e-works数字化企业网  »  文章频道  »  基础信息化  »  IT综合

基于计算机视觉的无人驾驶感知系统

2017/5/27    来源:极客头条    作者:吴双      
关键字:计算机视觉  无人驾驶  
本文是无人驾驶技术系列的第三篇,着重介绍基于计算机视觉的无人驾驶感知系统。在现有的无人驾驶系统中,LiDAR是当仁不让的感知主角。但是由于LiDAR的成本高等因素,业界有许多是否可以使用成本较低的摄像头去承担更多感知任务的讨论。
    本文是无人驾驶技术系列的第三篇,着重介绍基于计算机视觉的无人驾驶感知系统。在现有的无人驾驶系统中,LiDAR是当仁不让的感知主角。但是由于LiDAR的成本高等因素,业界有许多是否可以使用成本较低的摄像头去承担更多感知任务的讨论。本文探索了基于计算机视觉的无人驾驶感知方案。首先,验证一个方案是否可行需要一个标准的测试方法,我们介绍了广泛被使用的无人驾驶视觉感知数据集KITTI。然后,我们讨论了在无人驾驶场景中使用到的具体计算机视觉技术,包括Optical Flow和立体视觉、物体的识别和跟踪以及视觉里程计算法。
 
    无人驾驶的感知
 
    在无人驾驶技术中,感知是最基础的部分,没有对车辆周围三维环境的定量感知,就有如人没有了眼睛,无人驾驶的决策系统就无法正常工作。为了安全与准确的感知,无人驾驶系统使用了多种传感器,其中可视为广义“视觉”的有超声波雷达、毫米波雷达、激光雷达(LiDAR)和摄像头等。超声波雷达由于反应速度和分辨率的问题主要用于倒车雷达,毫米波雷达和激光雷达承担了主要的中长距测距和环境感知,而摄像头主要用于交通信号灯和其他物体的识别。
 
    LiDAR由于出色的精度和速度,一直是无人驾驶感知系统中的主角,是厘米级的高精度定位中不可或缺的部分。但是正如本系列第一篇文章《光学雷达在无人驾驶技术中的应用》分析,LiDAR存在成本昂贵、空气中的悬浮物影响精度等问题,毫米波雷达虽然相比LiDAR可以适应较恶劣的天气和灰尘,但也需要防止其他通讯设备和雷达间的电磁波干扰。
 
    传统计算机视觉领域的主要研究方向是基于可见光的摄像头的视觉问题,从摄像头采集的二维图像推断三维物理世界的信息。那么最常见、成本较低的摄像头能不能承担更多的感知任务呢?在本文中,我们将探索基于计算机视觉的无人驾驶感知方案。首先,要验证一个方案是否可行,我们需要一个标准的测试方法。本文将介绍由德国卡尔斯鲁厄技术研究院(KIT)和丰田芝加哥技术研究院(TTIC)共同开发的KITTI数据集。在有了标准的数据集之后,研究人员可以开发基于视觉的无人驾驶感知算法,并使用数据集对算法进行验证。我们将介绍计算机视觉在无人驾驶感知方面的前沿研究,包括光流(Optical Flow)和立体视觉、物体的检测和跟踪以及视觉里程计算法。
 
    KITTI数据集
 
    KITTI数据集是由KIT和TTIC在2012年开始的一个合作项目,网站在http://www.cvlibs.net/datasets/kitti/,这个项目的主要目的是建立一个具有挑战性的、来自真实世界的测试集。他们使用的数据采集车配备了:
 
  • 一对140万像素的彩色摄像头Point Grey Flea2(FL2-14S3C-C),采集频率10赫兹。

  • 一对140万像素的黑白摄像头Point Grey Flea2(FL2-14S3M-C),采集频率10赫兹。

  • 一个激光雷达Velodne HDL-64E。

  • 一个GPS/IMU定位系统OXTSRT 3003。
数据采集车
 
    图1 数据采集车
 
    图1这辆车在卡尔斯鲁厄的高速公路和城区的多种交通环境下收集了数据,用激光雷达提供的数据作为ground truth,建立了面向多个测试任务的数据集:
 
  • Stereo/Optical Flow数据集:如图2,数据集由图片对组成。一个Stereo图片对是两个摄像头在不同的位置同时拍摄的,Optical Flow图片对是同一个摄像头在相邻时间点拍摄的。训练数据集有194对,测试数据集有195对,大约50%的像素有确定的偏移量数据。
 
  Stereo/Optical Flow数据集
 
    图2 Stereo/Optical Flow数据集
 
    视觉里程测量数据集:如图3,数据集由22个Stereo图片对序列组成,一个4万多帧,覆盖39.2公里的里程。
 
    视觉里程测量数据集
 
    图3 视觉里程测量数据集
 
    三维物体检测数据集:手工标注,包含轿车、厢车、卡车、行人、自行车者、电车等类别,用三维框标注物体的大小和朝向,有多种遮挡情况,并且一张图片通常有多个物体实例,如图4。
 
   三维物体检测数据集
 
    图4 三维物体检测数据集
 
    物体追踪数据集:手工标注,包含21个训练序列和29个测试序列,主要追踪目标类型是行人和轿车,如图5。
 
    物体追踪数据集
 
    图5 物体追踪数据集
 
    路面和车道检测数据集:手工标注,包含未标明车道、标明双向单车道和标明双向多车道三种情况,289张训练图片和290张测试图片,ground truth包括路面(所有车道)和自车道,如图6。
 
    路面和车道检测数据集
 
    图6 路面和车道检测数据集
 
    和以往计算机视觉领域的数据集相比,KITTI数据集有以下特点:
 
  • 由无人驾驶车上常见的多种传感器收集,用LiDAR提供高精度的三维空间数据,有较好的ground truth。

  • 不是用计算机图形学技术生成的,更加接近实际情况。

  • 覆盖了计算机视觉在无人驾驶车上应用的多个方面。
 
    由于这些特点,越来越多的研究工作基于这个数据集开展,一个新的算法在这个数据集上的测试结果有较高的可信度。
 

责任编辑:李欢
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐