简述机器视觉在交通中的应用（计算机视觉在智能交通领域应用的五个方向）

简述机器视觉在交通中的应用（计算机视觉在智能交通领域应用的五个方向）我认为计算机视觉能给交通带来的主要有如下几个方面：第一个是感知，对于我们车辆而言就是车辆的检测，第二个是车辆身份的识别，第三是车辆身份的比对，第四个是车辆的行为分析，第五个是驾控，也就是现在非常火的汽车辅助驾驶与无人驾驶。 计算机识别可以给智能交通带来什么计算机视觉是一门研究如何使机器“看”的科学，是通过摄像机或者电脑代替人眼进行目标检测识别、跟踪和测量的技术，具体到智能交通领域就包括车辆检测，车辆识别和车辆跟踪和测量等。而深度学习是一种可用于计算机视觉的机器学习技术，它应该说是近几年最火技术之一。在2012年之后，在一些国际上大的互联网公司大资金投入之后，深度学习从最初的理论到实际应用有了非常快速的发展，就像上面这幅图，到了2014年的时候，计算机可以仅通过一幅图片，就可以检测和识别里边的人、马、狗等，即使有很大的遮挡，这在2012年之前，其实是一个很难的问题，但在2012年之后，借助深

8月30日，2016年未来城市交通管理技术论坛暨第二届（华南）城市智能交通发展论坛于广州市成功举办。计算机视觉技术创业公司——北京卓视智通科技有限责任公司总经理吴柯维，现场发表了主题为《计算机视觉与深度学习技术在智能交通领域的应用》的演讲。

文章经本人确认后发布

各位上午好，前面大家讲了很多ETC技术，下面我给大家介绍智能交通系统里另外一项关键技术，就是计算机视觉技术。

什么是计算机视觉技术

计算机视觉是一门研究如何使机器“看”的科学，是通过摄像机或者电脑代替人眼进行目标检测识别、跟踪和测量的技术，具体到智能交通领域就包括车辆检测，车辆识别和车辆跟踪和测量等。而深度学习是一种可用于计算机视觉的机器学习技术，它应该说是近几年最火技术之一。

在2012年之后，在一些国际上大的互联网公司大资金投入之后，深度学习从最初的理论到实际应用有了非常快速的发展，就像上面这幅图，到了2014年的时候，计算机可以仅通过一幅图片，就可以检测和识别里边的人、马、狗等，即使有很大的遮挡，这在2012年之前，其实是一个很难的问题，但在2012年之后，借助深度学习就很容易就能实现了。今年深度学习应用最火的应该就是众人皆知的围棋机器人AlphaGo，它以4:1战神了国际顶尖的围棋手李世石；跟1996年IBM打造的深蓝机器人下象棋战胜人类不一样，AlphaGo背后的计算机程序是只看棋盘，不看逻辑，仅仅通过学习大量的棋局来“领悟”围棋的奥秘从而战胜人类的，这是一个划时代的进步。

在我理解来看，就像这里的2张图，2012年之前有很多识别只能叫做“青蛙眼的识别”，很多目标的检测是靠运动信息，靠前背景提取来实现的，因而只有运动的东西才能检测得到，而不动的东西往往检测不到，就像青蛙一样。而如今，计算机视觉已经进入了读图时代，计算机的识图能力甚至已经可以达到2、3岁小孩的水平了。

计算机识别可以给智能交通带来什么

我认为计算机视觉能给交通带来的主要有如下几个方面：第一个是感知，对于我们车辆而言就是车辆的检测，第二个是车辆身份的识别，第三是车辆身份的比对，第四个是车辆的行为分析，第五个是驾控，也就是现在非常火的汽车辅助驾驶与无人驾驶。

• 第一，车辆检测与感知

检测就是计算机通过图片或者视频，把其中的车辆或其他关注目标准确的“框”出来，检测是很多系统的基础。在2012年以前，很多智能交通系统中用的检测采用的是一种基于运动的检测，这种检测会受天气、光线等方面的影响，在不同天气下会存在很多问题。而基于深度学习的检测，是基于车辆的轮廓和形态的检测，是完全模拟人看车的方式，只要人眼可以辨识那是一辆车，就可以“框”出来，这个就可以解决很多过去车辆检测中存在的问题，排除了天气光线等来带的干扰。从检测感知角度，我觉得有以下几个方面的细分应用。

第一个是路口的感知

目前的中国很多城市交通拥堵很严重，很多十字路口的红绿灯配时其实并不是最优的，通过基于深度学习的车辆精确感知检测，可以精准的感知交通路口各个方向的车辆数量、流量和密度，从而可以给交通路口的最优配时提供准确依据。如果各个路口都用上这种车辆检测技术，那对交通拥堵将是极大的缓解。

这张图是我们的检测结果，是基于纯图片的检测方式，而不是基于运动的方式，干扰会大大降低，部分遮挡也不影响车辆检测，同时成本也非常低，可以利用现有的已建电子警察、反向卡口或监控摄像头的视频图像。

第二个就是路段的感知

经过过去几年的建设，我国的大中型城市都安装了很多监控摄像头，通过路段的感知，可以基于原有监控系统获取到道路的总体交通路况，通过这种车辆检测技术就可以为道路路况分析、交通大数据、交通规划等提供可靠的数据依据，这对于计算机在以前要做起来，成本是非常高的，现在就可以采用很低的成本做到，通过图象快速的感知。

第三个是路侧停车的感知

有两个方面的应用，一个是路侧违法停车的感知和抓拍，不再需要摄像机去轮询检测，大大提高了摄像机的使用寿命。另外一个就是路侧停车位的管理，之前的方案在外场要感知车位是否被占用，一般通过地磁感知，成本非常高，系统可靠性也是问题；基于图象的识别则可以很好的解决这个问题，一台摄像机即可监控和感知一大片区域的停车位是否被占用，成本低还所见即所得。就如左边的图，基于深度学习的检测，即使这些车辆挨在一起也依然可以准确检测，这采用传统的方法是做不到的。

第四个是停车场的感知

现在室内停车场应用图像识别实现车位检测的已经比较多了，但是现在很多车的检测都是基于车牌，有车牌就可以检测出来，没车牌检测不出来，甚至有的车牌效果不太好也无法检测。而基于深度学习的车辆检测，只看车辆的轮廓，不看车牌，只要看起来像个车的，就可以检测出来。 而且精度很高。右边的图，以前是不太可以实现的，过去室外停车场的数据怎么汇集，经常是靠停车场的管理员不间断的报数据，这个成本非常高，而且不可靠。而现在通过计算机视觉技术，也同样可以做到，模拟人的视觉感知，哪个地方有车停，哪个地方是空位，直接检测出来把数据发送给平台，发布到停车场诱导系统上。

第五个是出入口的车辆感知

现在很多停车场和出入口都上了车牌识别系统，但如果一旦车辆车牌不清楚或车辆没有挂牌，系统就抓瞎了。而采用基于深度学习的车辆特征识别系统，可以识别车辆本身。 通过车辆的检测，出入口车辆的检测精度可以完全做到99%以上，甚至完全可以替代地磁来进行车辆感知，完成抬杆落杆的控制。而基于图象的车辆检测，还可以实现出入口的视频浓缩存储等附加功能。

• 第二，车辆身份特征识别

计算机视觉用于智能交通的第二个大的应用领域就是车辆的身份识别。今天有专家讲ETC和电子标签，通过这两项技术来识别车辆确实非常可靠，而且精度目前来说还是比图象识别要高一些。但是现实中还存在很多现实问题，比如说现在很多大货车无法用ETC，还有ETC系统遭到破坏，怎么办？而电子标签真正落地还有待时间验证。在这个时间窗口，如何实现车辆身份特征的唯一性识别？通过深度学习提升的车辆识别不仅仅是车辆的车牌识别准确率，还能实现更多维度的识别，我们叫车脸识别，也就是不仅精确识别车牌，还有车辆的颜色，车辆的类型，车辆的品牌年款，车辆里人物，车辆挡风玻璃上的特殊标志以及车辆尾部的特征标志等。

先说车牌号码，车牌识别已经应用了很多年，但实际中还有很多车牌是是很难准确识别的，比如随意大角度倾斜的车牌，在过去很多年其实解决的都不好，可以说过去3-5年车牌识别技术曾处于一种瓶颈期，但现在这两年可以看到有些已经可以识别了，这其实很大程度上得益于深度学习技术的应用，有了新的突破，各种姿态的，各种角度的车牌都能很好的识别。

除了车牌识别之外，过去很难想象的一个进展就是车辆的品牌年款识别，我们目前已经可以识别超过3000种的车辆品牌年款了，车头的检测超过95%，车尾的检测也超过了90%，车辆颜色超过95%。

除此之外，还可以识别很多车辆的特有特征，通过深度学习技术可以检测你年检标的个数，也可以识别你的车有没有装行李架，车灯的形状，有没有挂件等。

着重提一下就是车辆类型识别，这个可以帮助高速公路收费。还可以识别一些特种车辆，如公交车，现在很多省份鼓励公交优先政策，很多城市在打造公交优先快速通行系统，如深圳，而目前方案主要是通过装电子标签来实现公交车的感知，其实通过图像识别完全可以准确识别一辆公交车来了，并优先通行。

• 第三，车辆的比对

计算机视觉用于智能交通的第三个大的应用领域就是车辆的比对，最典型的应用就是以图搜图，如何在海量图片里精准的找到一辆车，所谓世界上没有两片相同的树叶，也没有两辆完全一样的车。大家可以看看这个，右下角的图，看着以为是一样的，但是仔细一看还是有不一样的，可以区分出来。

我们研发的基于视图大数据的以图搜图功能，可以在海量图片里找到一辆特定的车，不管有没有号牌，这里还包括一些其他的功能，如套牌车分析等等，套牌车在以前，唯一的方法就是举报，但现在计算机可以通过两个车牌是完全一样的车，通过车型比对和车辆特征比对来鉴定是否套牌车。

车辆比对的另外一个应用场景就是收费结算，目前车牌识别用在停车场的支付里，还有一些遗留问题，就是还存在无牌车、污牌车和套牌车，因而依然必须依赖人工参与。有没有一种办法可以减少或者是不让人工参与呢？就是通过车脸识别。通过车脸识别，可以构建车辆多层多维度的特征，相当于得到一个车辆的肖像，然后通过特征比对去判断是否同一辆车。 这个当然也可以应用在高速公路的逃费稽查方面。

此外，目前高速公路上MTC车道受限于技术等原因，还没有应用移动支付，有了这些比对技术，我认为在不久的将来，高速公路的移动支付完全可以实现。

• 第四，交通视频的分析应用

计算机视觉应用在智能交通的第四个大的应用领域就是车辆的行为分析。

一个是交通事故及事件检测，基于连续视频可以分析车辆的行为，检测如车辆停车、逆行等行为，发现交通事故和交通拥堵进行报警，这个之前在高速公路上应用非常广泛。但由于存在较多的误报，实际效果离真正的需求还有一段差距。而借助深度学习技术，能实现真正准确的交通事件检测系统，真正的帮交通运营部门提供准确及时的报警信息。

第二个就是车辆违章抓拍，这些近几年在我国应用非常广泛，而且利用视频检测实现的非现场执法的种类越来越多，现在甚至连开车接打电话都可以识别抓拍，这些都得益于计算机视觉技术的快速进步。

• 第五，无人驾驶和汽车辅助驾驶

最后要说的一个应用领域就是汽车驾控，就是当前非常热的无人驾驶和汽车辅助驾驶。其中非常重要的一个技术点就是图象识别，通过图像识别前方车辆、行人、障碍物、道路以及交通信号灯和交通标识，这项技术的落地应用将给人类带来前所未有的出行体验，重塑交通体系，并构建真正的智能交通时代。

总结一下，计算机视觉技术过去5年内取得的成绩甚至是远远超过了之前以前的20年，得益于深度学习技术带来的巨大进步，通过计算机视觉的广泛应用，能够大大提升智能交通系统的感知精度与维度，让智能交通系统更加智慧。

通过深度学习技术，未来能够让移动支付在智能交通系统中更加快速的落地，让无人驾驶的美好梦想变成现实，从而给全人类带来更加安全、便捷、舒适的出行体验。