无人驾驶的感知传感器有哪些(详细解析视觉传感器产业链在自动驾驶中的应用及成本)
无人驾驶的感知传感器有哪些(详细解析视觉传感器产业链在自动驾驶中的应用及成本)基于纯视觉的 L4 级方案已路测成功(百度 Apollo Lite)。综合性能、 成本、美观与实际路测考量,中下游厂商或调整方案结构侧重视觉,看好视 觉在产业链中比重持续增长。ADAS 研发迎来关键节点,领先车企规划 2020 年~2022 年 L3 级别车 型落地。传感器中视觉的性能在下一代迎来飞跃,未来 3~5 年量产的前视 传感器中,单目测距达到 200 米~300 米,像素在 2Mp 到 8Mp 之间,性能 与长距离毫米波雷达差距大幅缩小,同时具备成本和图像识别等方面的优 势。1 视觉传感器性能将大幅进步产业链占比有望持续增长
来源:广发证券
如需完整版获取PDF文档,点击关注
上方蓝字“智车行家”后回复“视觉”领取
核心观点:
1
视觉传感器性能将大幅进步
产业链占比有望持续增长
ADAS 研发迎来关键节点,领先车企规划 2020 年~2022 年 L3 级别车 型落地。传感器中视觉的性能在下一代迎来飞跃,未来 3~5 年量产的前视 传感器中,单目测距达到 200 米~300 米,像素在 2Mp 到 8Mp 之间,性能 与长距离毫米波雷达差距大幅缩小,同时具备成本和图像识别等方面的优 势。
基于纯视觉的 L4 级方案已路测成功(百度 Apollo Lite)。综合性能、 成本、美观与实际路测考量,中下游厂商或调整方案结构侧重视觉,看好视 觉在产业链中比重持续增长。
2
视觉处理硬件为基础,软件作用持续提升车
车规级高算力硬件的发展(英伟达 Drive Xavier、特斯拉 FSD、Mobileye EyeQ5 等)带动深度学习算法落地,有望超车传统计算机视觉算法。同时,车规级软件门槛更高,研发周期更长,部分消费级软件企业布局车载领域存 在挑战。
3
车载视觉方案的商业化关注软件的通用性
和上下游竞合关系
通车体视觉涉及车体控制层,封闭性较强,算法在硬件层面的移植难度较大。车舱视觉通用性较强,通常兼容多种芯片结构与操作系统,车舱视觉 软件公司对上游议价能力相对更高。同时,头部 Tier 1 多数与专业算法公 司深度合作,长期看,有自行研发的趋势,一二级供应商界限逐渐模糊化。
4
国内算法企业机遇与挑战并存
大部分单一算法企业在产业链中相对上下游(尤其是芯片、载体平台、计算平台和车商/Tier 1 供应商)话语权较弱,汽车工业技术标准的经验不 足可能会放大议价能力的弱势。
商业化应用尚未大规模落地,前沿技术理念 的同步程度较高。相关机遇包括拓展软件的通用性以及发展新兴算法领域(如深度学习)等。
要点趋势
>> ADAS研发迎来关键节点,领先车企规划2020年~2022年L3级别车型落地。传感器中视觉的性能在下一代迎来飞跃,未来3~5年量产的前视传感器中, 单目测距达到200米~300米,像素在2Mp到8Mp之间。
在成本占优的前提下 性能与长距离毫米波雷达差距大幅缩小,同时具备成本和图像识别等方面的 优势。基于纯视觉的L4级方案已路测成功(百度Apollo Lite)。综合性能、 成本、美观与实际路测的考量,中下游厂商或调整方案结构侧重视觉,看好视觉在产业链中比重的持续提升。
>> 视觉处理硬件为发展基础,软件作用逐步提升。
>>车规级高算力硬件的发展(英伟达Drive Xavier、特斯拉FSD、Mobileye EyeQ5等)带动深度学习算法落地,有望超车传统计算机视觉算法。细分方 案中,双目方案专用芯片驱动双目软件发展,短期内,测距与镜头一致性限 制其空间,仍以单目方案为主流。
>>车规标准要求包括高分辨率、宽动态、强光抑制,对工作寿命、承受温度范 围等要求高于消费级。镜头表面镀膜要做特殊工艺梳理。ISO 26262定义了 汽车安全完整性等级(ASIL),ASIL-D级要求10亿小时运算预期出现的失 败次数少于10次。车规级严格要求意味着车载软件研发周期更长,门槛更高,部分消费级软硬件企业布局车载领域存在挑战。
>>视觉方案的商业化落地关键看软件的通用性和上下游竞合关系。
>>通用性方面,车体视觉涉及车体控制层,封闭性较强,算法在硬件层面的移 植难度较大。车舱视觉通用性较强,通常兼容多种芯片结构与操作系统。商 业化层面车舱视觉软件公司对上游议价能力相对更高。
>>Tier 1(一级供应商)与算法厂商(二级供应商)存在竞合关系。头部Tier 1受同业竞争压力,多数与算法公司深度绑定缩短适配周期。长期看,为争 取议价空间,部分Tier 1的算法来源由合作转自研,部分算法企业直接与整
车厂合作开发,一二级供应商存在界限模糊化趋势。
>>大部分单一算法企业在产业链中相对上下游(尤其是芯片、载体平台、计算 平台和车商/Tier 1供应商)话语权较弱,汽车工业标准的技术经验不足可能 会放大议价能力的弱势。
存在的机遇包括拓展软件的通用性与兼容性、发展
新兴算法领域(如深度学习等)以及把握下游的商业化落地等。
▍ADAS的分类、构成与发展
□按照系统功能划分,ADAS可以为主动与被动安全系统。被动安全系统负责预警,主动安全系统负责在特定情况下介入控制。
□ L1级车对应的辅助驾驶功能互相独立,包括ACC、LKA等。L2级车在L1级的基础上,对个体功能进行集成,完成持续协作的驾驶任务,包括TJA等。
ADAS技术架构及产业链
□技术架构
ADAS技术架构分为感知层(包含传感器),决策层(包含算法、中央处理器、处理芯片等),执行层与互联层。感知层的作用为收集及预处理周围环境的信息,决策层对收集的数据整合、分析与判断,执行层根据判断结果做出实时反应。
ADAS感知层的主流传感技术包括视觉、电磁波雷达(毫米波雷达和激光雷达为主)及超声波雷达。
ADAS落地规划
□从多数领先整车厂的推进计划看,L3级别在2020~2022年落地,L4级别车型在2020年后落地。
自动驾驶市场较为分散,各车企的落地策略不同。奔驰、奥迪等采用从L0至L5级别相对稳妥的渐进式研发;福特、沃尔沃等采取策略更加激进,跳过L3级推出L4级。
科技公司有软件优势但是缺乏硬件基础,在车体制造与生产方面存在局限性,通常与整车厂合作开发,形成互补(如:Waymo与塔塔汽车的捷豹和菲亚特克莱斯勒在无人驾驶汽车方面建立了牢固的合作关系,百度与北汽、长安、奇瑞、威马等车企达成战略合作。)
传感器在ADAS中的地位
传感器在ADAS中的主要作用为采集路面信息,是ADAS系统的重要组成部分。经由传感器的道路环境数据采集后,转换成数字信号传至决策层分析处理,最后由执行器输出控制信号。传感器是ADAS架构感知层中重要的输入环节。
▍传感器
车载传感器分为视觉、毫米波雷达、激光雷达等技术路径。视觉传感器因原理上与雷达形成良好的互补。以目前趋势,雷达 视觉的合成方案为主流,未来传感器发展趋势为集成与处理优化。
路径比较
ADAS感知层主流传感技术包括视觉、雷达及超声波雷达。传感器包括前视、环视、车内摄像头,毫米波雷达和超声波雷达等。
□ 本质上,电磁波雷达与超声波雷达都是利用回波成像来构显被探测物体。
□ 超声波雷达超声波散射角大,在空气中传播损耗也大,适合泊车雷达。
□ 毫米波雷达可全天候工作,抗干扰能力较强,对烟雾灰尘具有更好的穿透性,受天气影响小,但是精确度相对薄弱。车用毫米波雷达包括24GHz和77GHz毫米波雷达。
□ 激光雷达工作在红外和可见光波段,用发射激光束探测目标的位置、速度等特征量,实现精准建模,且探测距离远。缺点是易受到自然光或是热辐射的影响。
□ 视觉方案技术相对成熟,优势在于成本低廉,支持基于深度学习的类型识别,但易受天气、环境光等因素影响,且无法有效获得三维信息。
2018年国内新车型中,多数已装配环视系统。视觉和雷达的应用上,有不同侧重:一汽奔腾SENIAR9、吉利博瑞GE等车型用前视摄像头完成主要ACC、AEB、LDW等功能。奔驰GLC、长安CS75等车型靠77GHz雷达实现ACC,靠前视摄像头实现LDW。
从传感器顶尖性能来看,量产的这一代单目摄像头像素在1Mp到2Mp之间,探测距离约100~120米。双目摄像头探测距离约50~70米。
下一代视觉传感器测距方面大幅有望提升,鉴于自动驾驶升级车型对于摄像头的依赖程度,预计在下一代投产后将放量。
大陆的MFC500系列分辨率最高800万像素,探测距离300米;博世也将推出像素200万单目摄像头,探测距离大于200米。由于单目方案测距与分辨率紧密挂钩,像素规格的进步对于单目性能有显著的提升作用。
成本对比
摄像头与毫米波雷达成本摄像头单价一般在600元以下,其中单目摄像头单价区间大致在150~600元左右,环视摄像头区间在70~500元左右。
毫米波雷达市场中,近程雷达单价在300~400元左右,远程雷达在800~1200元左右。
对于ACC、AEB等关键L1、L2级功能,需要配备单目摄像头或者远程雷达,单价上摄像头占优。
□ 激光雷达成本对于单价上万的激光雷达,初步判断降价周期或已开启,集成商已开始批量采购。Veoneer在2018年从一家全球性的OEM获得第一笔大批量商业化激光雷达订单。
□ 近日,法雷奥激光雷达赢得了来自全球四大主要汽车集团的总额5亿欧元(5.64亿美元)的订单,可能带来总值10到15亿欧元的长期业务,生命周期延续至2024年~2025年
据AutomotiveNews,法雷奥北美技术总监JamesSchwyn预计奥迪A8装配的ValeoSCALA之后,下两代产品将实现大幅降价;业内人士预判在激光雷达单价降至1750元以下时将会大面积投产。
实用性对比
□ 外形与重量传感器的实用意义是购车人群的重要考虑因素,包含其外观、重量与风阻。
□ 从重量的角度,长距雷达的重量约为单目摄像头的1.5倍左右,短距雷达与单目的重量相当。
□ 风阻视觉传感器在空气阻力影响方面占绝对优势。摄像头体积小,且部分可以置于车内,不影响成像。前视视觉摄像头一般置于车内后视镜上方。侧向摄像头体积小,迎风面积几乎可以忽略不计。
奥迪电动车e-tron配备新一代虚拟后视镜(图片详见第28页),用视觉再一次完成突破,省去实体后视镜并用摄像头构成的虚拟后视镜替代,将整车风阻由0.28减至0.27(相当于高速环境下每小时多行驶5千米),同时把车宽减少了15厘米。
长距雷达属于外置型,一般安置于车身对车的整体风阻系数存在影响。
视觉传感器的地位
视觉传感器在ADAS升级中需求弹性小,占有重要地位。从自动驾驶方面,前视摄像头性能在下一代与远距雷达处于同一水平,是性价比更高的选择。单目摄像头占据物体识别方面的优势,弥补毫米波雷达精度低的缺点。
从驾驶员体验方面,视觉传感器可以检测驾驶员状态,提高安全性。如果虚拟后视镜普京,可以有效减少风阻。同时内嵌式的摄像头相比于雷达,不影响车体美观性。
基于视觉传感器对高规格车型的必要性和对驾驶安全性的意义,根据上文估算,L4/L5级车型装配摄像头数将升至9~10个,数量在现有L2车型基础上翻倍。
▍视觉算法在ADAS中的地位
基于硬件的车载视觉算法在ADAS产业链中地位的重要性逐渐提升,前视方案等面临软硬件的升级,新兴视觉方案(虚拟后视镜等)提升安全性与驾驶体验。车规要求成为车载软件的主要壁垒之一,消费级软件企业在车载领域布局具有一定难度。
计算机视觉
计算机视觉(ComputerVision)是人工智能的一个分支,起源于20世纪80年代的神经网络技术,通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息,理解并通过指挥特定的装置执行决策。
计算机视觉的工作流程包含四个模块:检测、分类、跟踪与语义分割。具体为成像设备首先捕获图像,然后对每个图像进行预处理,提取特征后输入到分类模型中。
计算机视觉发展现阶段,对于人工智能的应用取决于具体落地板块。远期,计算机视觉需要广泛应用人工智能。在我国整个AI市场各板块中,计算机视觉的融资活动最为活跃,是综合政策扶持、市场潜力与投资者信心的反应。
车载ADAS视觉
车载视觉的源头是计算机视觉,遵循图像输入、预处理、特征提取、特征分类、匹配、完成识别几个步骤。
预处理包括成帧、颜色调整、白平衡、对比度均衡、图像扭正等工作;特征提取在预处理的基础上,提取出图像中的特征点;目标识别是基于特征数据的输出,对图像中的物体进行识别分类——人、车、交通标志等,运用到机器学习、神经网络的算法。
视觉技术上主要存在两个壁垒:特征提取(可用特征很多)与预处理(常常通过宽动态、强光抑制、降噪等技术保证数据源的质量)。
场景与用途存在相互交叉传统汽车电子控制系统中,传感器经处理后的数字信号传导至对应ECU(电子控制单元),不同ECU对应不同系统。
自动驾驶时代的汽车电子控制系统中信号传至MDC多域控制器,即通过一块ECU对不同传感器信号进行分析和处理,再由执行机构(电子阀门、执行马达等)发送指令以控制车辆的关键部件(发动机等)完成控制/转向等功能,或向车载信息系统(In-VehicleInfotainment)和HMI(人机交互界面)发送指令。
车载视觉从广义上分为两种应用场景:
□ 由机器到机器,指代由机器获取信息反馈至驾驶员的应用场景,在智能系统控制下完成车道保持、超车并道、交通标识识别等功能,无需人为操控或介入。
□ 由机器到人,通过机器与人的交互,增强驾驶体验或在特定情况下完成驾驶任务。
□ 机器-机器和机器-人为应用场景的分类,用途可能存在交叉,即同一功能可能既需要向机器传达指令,也需要向人传达预警以确保在必要时干预。
下文分析的场景与性能方案不完全对应,存在交叉,我们取主要对应关系进行分析。
1)机器-机器(MachinetoMachine)
机器-机器场景中的视觉方案包含前视方案与环视方案。
□ 前视视觉方案前视方案通过高清摄像头采集图像数据,然后从图像数据上得到距离信息,可细分为单目与双目方案。
□ 单目方案传感器为一个单目摄像头,通常内嵌于车内后视镜;其算法原理为先识别物体,后根据图像大小测距。
□ 双目方案传感器为一个双目摄像头,通常置于车内后视镜上方挡风玻璃处;其算法原理为通过视差直接测距,类似于人眼的感知。
□ 环视视觉方案根据德州仪器的环视系统报告,环视方案通过4~6个广角摄像头采集图像数据,拼接后合成360度的全景俯视图,现阶段多用于可视化系统,该系统提供车身周围实时的俯视图像,用全景图像消除车身周围的视野盲区,提供相对方位与距离信息。
□ 用途与性能差异前视方案普遍用于车体纵向的识别、测距等,如前车碰撞预警、行人碰撞预警、紧急制动刹车和自适应巡航等。
环视方案普遍用于自主泊车,以及辅助横向的预警、控制,包括车道偏离预警、车道保持功能等。性能上,环视摄像头分辨率相对更低,视场角广。前视摄像头分辨率高,测距长,视场角相对更小。
2)机器-人(MachinetoHuman)
机器-人场景的具体应用包括车内摄像头、虚拟后视镜等。
□ 车内摄像头车内摄像头用于车内的身份验证、疲劳检测、手势识别等,放置方位因方案不同而不同。(2019斯巴鲁森林人将摄像头置于中控屏上方)。
2019年重新设计的宝马5系将摄像头放置于仪表盘组件。凯迪拉克2018高配CT6中的使用SuperCruise系统,通过位于车辆转向柱顶端的微型摄像头与方向盘灯带两旁的红外传感器追踪驾驶员头部特征。
□ 虚拟后视镜
虚拟后视镜由小型摄像头取代后视镜。奥迪E-tron的方案中,获取的图像呈现在仪表板和车门之间的OLED屏幕上。
3.机器-机器
1)前视方案
前视方案分为单目和双目。单目系统原理是基于识别的准确估算。双目系统原理是基于对目标物体距离感知的三角测量,而非估算。
□ 单目方案单目方案算法
单目摄像头遵循图像输入、预处理、特征提取、特征分类、匹配、完成识别几个步骤,其测距原理是先匹配识别后估算距离:通过图像匹配识别出目标类别,随后根据图像大小估算距离。
单目测距的算法包括传统机器学习算法与深度学习中的卷积神经网络(CNN)。
传统机器学习算法中,通过图像特征描述子SIFT(Scale-InvariantFeatureTransform)、SURF(Speeded-UpRobustFeatures)、BRIEF(BinaryRobustIndependentElementaryFeatures)等进行特征点提取和匹配,可用特征很多,包括角点、边缘点、暗区的亮点及亮区的暗点等。
CNN主要针对图像处理,基本原理是通过多层过滤得到越来越抽象的图像特征,每个滤波器(由卷积核组成)学习并进行特征值提取,无需人工设计参数提取特征。
两种算法的本质区别在于手动提取特征与机器学习特征,因此相比较而言,传统算法特征提取效率更低,鲁棒性不及深度学习算法。
单目芯片
现阶段可用于传统视觉算法的处理器有NXP的S32V234、MPC567xK TI的TDA2x、TDA3x,瑞萨的R-CarV3M,ADI的BF60x等,其中TITDA2x、NXPS32V234等配备视觉加速器。
适用于传统算法叠加深度学习算法且符合车规级别的SoC不多,2021年前量产的芯片包括Mobileye的EyeQ,特斯拉的FSD(今年4月宣布),英伟达的DRIVEPX等。
EyeQ芯片的能耗在上述对比中最低,但是是唯一一款基于单一芯片的参数。英伟达的DrivePX DriveXavier Pegasus以及特斯拉的FSD均为平台。
叠加深度学习算法的高性能芯片多数功耗都较高。硬件的局限性促成了深度学习在落地应用中的轻量化。
双目方案双目算法
双目摄像头的测距通过视差直接测距,类似于人眼的运作方式。双目测距从视差的大小倒推出物体的距离,视差越大,距离越近。
双目芯片
在车规级的FPGA,L1-L3级别中赛灵思占据领先地位。随着双目的普及化,全球两大处理器厂家推出了专用双目设计的处理器(瑞萨的R-CARV3H和NXP的S32V3系列),安霸也相继推出自动驾驶芯片CV1与CV2。
单双目方案对比优劣势
单目方案核心是样本量的局限性,对非常规物体、被遮挡物体容易出现漏检;双目方案核心是立体匹配和一致性,受限于硬件。双目方案计算量更大,对芯片要求更高。同时,摄像机的同步性和机体的稳定性很重要。成熟的双目方案需要经过振荡检验,剩余的差异由算法调教。
测距
以目前行业水准来看,主流方案测距上单目优于双目。远期来看,由于单目方案测距与分辨率紧密挂钩,摄像头像素提升对于单目性能有显著的提升作用,双目产品受制于同步性等因素,难以超过单目。
目前单目方案的探测距离在50~100米左右,顶尖性能达到200米左右,帧数在30帧左右。目前双目方案的探测距离在50~70米左右,顶尖性能达到120米左右,每秒帧数在30帧左右。
2)环视方案
环视摄像头方案中,通常将2个广角摄像头置于左右两侧外后视镜的后侧或下方,1个广角摄像头置于后备箱,1个置于引擎盖,拼接得到360度环视。应用中,模拟摄像头与高清数字摄像头都有,模拟摄像头性价比更高。
环视方案算法
环视方案通常经过摄像头标定-配准的流程。标定阶段,内参在出厂时即可得到,外参需要进行标定,得到摄像头安装的高度和角度。
拼接阶段需要配准,为了避免盲点、模糊及其他景深产生的问题。一般可以基于区域(FFT变换)或基于特征(SIFT,SURF等)。
鱼眼相机需要额外的畸变矫正再进行拼接,配准后的拼接成果优化显著。
环视方案芯片
恩智浦S32V234、瑞萨R-CarV3M、TDA3x等SoC兼顾前视摄像头与环视摄像头。专门针对环视方案设计的有恩智浦的i.MX6和i.MX8系列等。
ISP中,Omnivision的OV490,ARM的Mali-C71等都支持全景环视。
4.机器-人
1)驾驶员监控(DMS)驾驶员监控系统的功能主要针对驾驶员的疲劳、分神、不规范驾驶等危险情况进行一层或多层预警,要求在全部工况环境下(包含暗光、夜晚、逆光等)工作,且不受驾驶员衣着的妨碍。
DMS算法
DMS的视觉算法基于深度学习。以伟世通旗下AllGoEmbedded系统为例,其DMS的基本流程如下:
□ 脸部检测:将其归为物体识别与分类问题,通过训练深度神经网络设计一个鲁棒性好的脸部检测器。
□ 头部特征:由三个姿态角构成,基于CNN设计头部跟踪系统,以图像中脸部区域为输入,以三维姿态角为输出。
□ 眼神检测:综合眼神检测网络与头部姿态角度输出。
□ 眨眼检测:包括眨眼信息(速率与时差)和眼部信息(开与合)。眼部信息为二分类问题,需要神经网络较小;眨眼信息需要分析过去数帧。
□ DMS芯片
目前车规级的芯片包括高通的骁龙820A、瑞萨R-CarH3、英特尔的IntelAtom和德州仪器的JacintoDRAx等。
高通骁龙820A汽车级SoC于2016年发布并搭载于大众汽车。东软集团已经与高通合作,利用HVX视觉引擎提供基于骁龙820A的认知视觉解决方案。国内头部算法商汤等针对车舱视觉搭配高通骁龙820A芯片平台。
除去骁龙,其余芯片方案也在研发中。恩智浦2019年6月宣布与Momenta合作,结合低功耗架构的NXPS32V2和Momenta的深度学习软件,研发DMS。
□ DMS摄像头与解决方案盘点
部分Tier1已推出DMS完整解决方案,包括大陆、法雷奥与维宁儿,基本覆盖目标识别、人脸识别与疲劳检测的功能,且采用红外摄像头,其成像品质不受夜间、逆光等高挑战性光照环境的影响。
部分软件厂商与电子供应商/Tier1合作开发解决方案,供应至整车厂前装市场。
2)虚拟后视镜
虚拟后视镜方案处于起步阶段,将车门内侧的OLED显示屏与车外小型高清摄像头连接。代表车型为AudiE-tron。流媒体后视镜针对后视镜盲区设计,用一个高清外置后视摄像头对车体候方拍摄并呈现在后视镜上。代表车型为凯迪拉克CT6。
3)HUD
HUD可分为CHUD(CombinerHUD组合型)和WHUD(WindshieldHUD挡风玻璃HUD)。CHUD显示屏为放置于仪表上方的一块透明树脂玻璃,根据成像条件对这块玻璃进行特殊处理。WHUD显示屏直接使用汽车的挡风玻璃,显示效果更为一体化。
新兴的AR-HUD在驾驶员视野范围内叠加显示驾驶辅助系统的状态,因此与环境传感器、地图资料等有紧密联系。
▍车规要求
车规级软硬件的要求较消费级严格,摄像头在低照度下的性能、动态范围、近红外线(NIR)敏感性、在摄氏-40到 105℃宽温度范围下的图像品质、长期可靠性、高速下的稳定性、图像资料完整性和稳健性等方面都需要保证。因此汽车产业链门槛较高,需要较长的研发周期,具有一定的技术壁垒。对于消费级软件企业,车规级软件的研发是新的挑战。
1)AEC-Q100、ISO26262认证 AEC-Q100依据国际汽车电子协会(AEC)作为车规验证标准,包括AEC-Q100(集成电路IC)、AEC-Q101(离散组件)、AEC-Q102(离散光电LED)、AEC-Q104(多芯片组件)、AEC-Q200(被动组件)。
AEC-Q100包括可靠性验证,分为GroupA(加速环境应力实验)、GroupB(加速工作寿命模拟)、GroupC(封装完整性测试)、GroupE(电性验证测试)、GroupG(空腔/密封型封装完整性测试)。同时还包括设计验证,对设计阶段的失效模式与影响分析评估,成品阶段的特性验证以及故障涵盖率计算。
ISO26262应用于安全相关系统,定义了各种汽车安全完整性等级(ASIL)——A,B,C和D(A为最低等级,D为最高等级),将所需的流程、开发工作和产品内功能安全机制映射到可接受的风险等级。
ASIL等级划分中,失败频率由FIT(Failureintime)衡量,指10亿小时运算预期出现的失败频数。对于视觉系统来说,一般要求ASILB级或以上,即10亿小时的时间内最多失误100次。SGFM(single-pointfaultmetric)与LFM(latentfault
metric)指的分别是测试对象在单点失误和隐藏失误方面的鲁棒性。
□ 镜头组、传感器、摄像头要求
□ 车规级传感器的镜头组有特殊要求,镜头表面镀膜要做特殊工艺梳理,使其不沾水、油、尘埃等。车规级传感器普遍需要做到高分辨率、强光抑制、宽动态。
□ 前视摄像头采用百万像素级别的高清图像传感芯片,要求具有HDR(宽动态范围图像)性能、微光性能;可消除高频LED闪烁。
□ 环视摄像头对像素、动态要求相对更低,但是要求功耗低。一般要求标清(VGA分辨率),灵活。提供色彩恢复和校正、锐化、灰度、镜头阴影校正、自动白平衡和自动曝光等复杂处理。
▍车载前视视觉方案市场空间
在各类视觉方案中,前视方案为自动驾驶实现的核心。我们现在对国内的前视视觉方案市场进行测算,测算对象为ADAS的前视视觉方案终端成品,包含前装与后装市场。
汽车产量我们采用中汽协对2019年汽车产量的预估(2810万辆)及普华永道调研结果。
渗透率方面,根据高工智能,我国2018年新车L1渗透率约为14%,L2渗透率为5%。根据中汽协预估的2018年2781万量产量推算出该年L1与L2分别的产量。参考工信部设立目标,2020年L2以下级别搭载率接近30%。根据产量及渗透率测算,L1级汽车产量在2021年达到700万辆,L2级达到420万量。
根据中科慧眼、Minieye等官方采访,目前市场上,L2级车的双目前装系统价格约为1000元。根据Mobileye后装价格和国内厂商的成本优势,估算单目后装价格约3000元,MinieyeCEO访谈也验证了类似区间。从成本角度比双目价格低。根据中科慧眼、Minieye已有产品,更新一代均有小幅降价。结合大趋势我们假设价格呈现逐年递减的趋势。
根据分拆后的价格、数量与占比,我们测算国内前视方案市场规模如下:
根据我们预测,全国前视视觉方案市场在2020年达到182亿元,2021年达到242亿元。CAGR约35%。根据YoleDevelopment测算,全世界前视ADAS摄像头的市场规模到2021年约达到35~40亿美元之间,2012年至2021年的CAGR约为27.3%。
下面分析部分代表性公司的视觉方案。
▍部分代表性公司技术方案概览
1)Mobileye
Mobileye产品为软硬件结合的单目前视感知方案。其视觉方案支持功能包括AEB、LDW、FCW、LKA等,全部由一颗EyeQ处理器完成。其算法从传统计算机视觉成功过渡至深度学习算法,由第五代EyeQ芯片承载。
2)百度
百度的出发点是生态建立,其Apollo平台包括云端平台、软件平台、参考硬件平台以及参考车辆平台。云端平台包括高精地图、DuerOS操作系统(百度研发的自然对话式人工智能操作系统)等,软件平台包括感知、策划、端到端、HMI等,参考硬件平台包括传感器、IMU等,参考车辆平台包括车联网。
今年4月,百度公布了其自动驾驶纯视觉城市道路闭环解决方案百度ApolloLite,为城市道路L4级感知方案。Apollo支持对10路摄像头、200帧/秒数据量的并行处理,单视觉链路最高丢帧率能够控制在5‰以下,前向障碍物的稳定检测视距达到240米。
ApolloLite是纯视觉方案,绕过了旋转式激光雷达,经过半年路测迭代,在闭环自动驾驶场景下表现优异。
3)MMSolutions
MMSolutions从手机与平板电脑的影像解决方案出发,延申出车载图像处理算法开发、优化和集成的产品。
AutoCDK是MMSolutions研发的多平台一站式方案,
MMSolutions通过与高通、TI、瑞萨等公司的长期深度合作,拓展其CDK普适性,目前支持环视、前视、后视等多种视觉场景,同时支持多平台,包括Linux
QNX DSPBios GreenHills FreeRTOS,TI和瑞萨等。瑞萨基于AutoCDK推出的ISP解决方案可以适应工业级水准及恶劣的驾驶环境,解决了LED闪烁问题并适应高动态的环境。
4)商汤
商汤发挥其在移动端人脸识别的技术积累,推出SenseDriveDMS系统。SenseDriveDMS经测试,在真实环境测试下对驾驶员的吸烟、闭眼及打哈欠等分心行为的识别准确率高达98%以上,且能够适应不同光照条件以及各种光照角度以及驾驶员的面部角度。
SenseDrive通过普通的红外摄像机加AI驱动的DMS软件即可实现,通过对压缩深度模型(CDM)及深度学习框架(PPL)的异构优化,SenseDriveDMS驾驶员监控系统响应速度大幅领先同级别产品。
据腾讯网,今年4月商汤与伟世通达成合作协议,将商汤的DMS技术与伟世通的SmartCore和DriveCore相结合,落地在即。
5)旷视
旷视在CES2019展示了基于高通骁龙660平台的车载视觉解决方案,包含人脸识别账户切换、人脸解锁与启动、驾驶员疲劳检测、手势切歌等多种功能,并且有效抑制强光、逆光等。
根据新华网关于CES2018的报道,目前旷视已和电动汽车品牌蔚来汽车达成合作。
▍产业链格局
视觉产业链上游主要由镜头模组供应商、芯片与算法供应商组成;中游Tier1负责传感器的模组、器件、芯片、算法的整合与集成;下游为整车制造厂商(OEM)。
1.上游
车载摄像头主要由镜头组、CMOS芯片、晶圆、模组及ISP处理器构成。
1)镜头组与CMOS
镜头组镜头组作为核心元件,其壁垒在于焦距、视场角、光圈、畸变、相对照度、分辨率等。由于室外环境严苛,车载镜头在形状上要有良好的热稳定性,所以镜头主要使用玻璃而非塑胶材质。
上游行业整体处于成熟期。镜头组部分主要厂商包括LGInnotek、舜宇光学、Samco等,大多是传统的相机镜头生产商。
该行业集中度相对较高。根据YoleDevelopment 全球CR4约为40%~50%左右。
CMOS
CMOS和CCD是摄像头的两种感光元件。CMOS相对于CCD的重要优势为帧数高且动态范围高,固在车载摄像头领域应用十分广泛。全球车载CMOS传感器厂商主要来自美国和日韩企业(如Pixelplus、三星、索尼等)。
2)算法芯片
车载算法芯片中,FPGA(可编辑门列阵)属于相对热门的方案。GPU和FPGA并行处理能力强,因此在图像视觉处理中,尤其在使用深度学习算法需要多个像素点同时计算,FPGA和GPU的并行计算能力具备更大有优势。
FPGA是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的,FPGA可根据需求编程,适用场景更宽泛。ASIC应用场景相对局限,因其无法进行再编程。研发周期上看,ASIC属特殊定制,需要大量时间开发,但是性能与速度均高于FPGA。
芯片主要供应商包括瑞萨电子、意法半导体、飞思卡尔、亚德诺、德州仪器、恩智浦、富士通、赛灵思、英伟达等。
2.定价权分析
算法厂商为二级供应商,一二级供应商存在竞合关系。头部Tier1受同业竞争压力,多数与算法公司深度绑定缩短适配周期。长期看,为争取议价空间,部分Tier1算法来源由外包转自研,部分算法企业直接与整车厂合作开发,一二级供应商存在界限模糊化趋势。
通用性方面,车体视觉涉及车体控制层,封闭性较强,算法在硬件层面的移植难度较大。车舱视觉通用性较强,通常兼容多种芯片结构与操作系统。商业化层面车舱视觉软件公司对上游议价能力相对更高。
1)软件公司与Tier1的关系及议价权
Tier1同业竞争激烈
Tier1市场集中度较低。据ResearchInChina统计,大陆、博世计划于2025年后落地L5级车的设备方案,并与法雷奥、伟世通一样在2020年落地L3。博世与采埃孚提早两年开始L3级的量产。
Tier1的算法来源:合作与自研共存
因同业竞争产生压力,国际大型Tier1的视觉算法多数选择与软件公司合作开发,以缩短适配周期。
包括大陆、ZF、博世等都有自己独立的软件研发部门或子公司,安波福主要通过收购软件公司获取核心技术,包括之前对Ottomatika、nuTonomy的收购。Valeo与百度合作,由百度提供云平台、算法等。
Mobileye算法数据集庞大、测量精度高、误报率低。电装、Magna、大陆等Tier1的软件研发与Mobileye合作。其中,Magna的合作集中于系统整合,大陆的合作集中于传感器。
国内市场中,前向启创与Tier1亚太机电深度绑定,获得亚太机电战略投资,由此打通渠道进入OEM市场。Maxieye与安波福建立深度合作关系共同开发。
未来趋势深度学习算法的开源
符合安全要求的ECU/MDC必须由工业级别认证的硬件和软件元件组成。Tier1如果需要自主开发该元器件或者从上游厂商购入,需要额外支付安全认证标准的附加值,压低其利润空间。如果使用具有符合安全需求的OSS,Tier1降低成本,同时降低终端售价。开源软件的普及化会一定程度降低传统软件/算法公司的竞争力。
深度学习算法轻量化
深度学习算法复杂度较高,不太适合运行在嵌入式硬件平台上。很多算法公司通过裁剪算法的网络结构,达到模型尺寸轻量化的目的。
东软集团旗下东软睿驰推出的轻量化算法,可以适用目前车载的CPU,提供一些行人车辆的识别算法。极目智能的JM600V3.0方案通过编码模式优化、对冗余网络结构的裁剪在控制精度损失的前提下将模型尺寸的轻量化。在精度损失不到1%的情况下,模型尺寸压缩近90%,计算量降低近90%。
软硬件合并,Tier1与Tier2界限淡化包括博世、大陆、电装、奥托立夫在内的Tier1已开始自行研发算法。短期看,外包算法的驱动力为缩短适配周期,提升竞争力。长期看,自研算法增强Tier1对上游的议价权。电装2018年报披露,将大幅增强软件部门实力,将发展重心从硬件转移。
博世为强化本土软件能力,将在2019年在华设立软件中心,为博世中国业务提供软件支持,包括嵌入式软件、基于人工智能的应用程序等。预计至2020年,该中心初期投资额超过3500万元;至2022年计划招募约500名软件创新人才。
算法公司也存在向Tier1靠拢的趋势,部分算法厂商跳过Tier1,或承担Tier1的职能,成为整车厂的直接供应商。
国外算法企业中,EB(Electrobit)直接与戴姆勒、福特、大众、通用、尼桑等整车厂合作提供算法方案,包含安全监控、电子视野、ECU软件方案等;同时也与德尔福等Tier1合作共同研发。
国内的创业公司出现了直接与车厂合作开发前装市场的路径。如Maxieye和国内主机厂北汽等共同开发项目。图森未来先给主机厂提供解决方案,而未来更可能给国内的tier1供应商提供技术支持。
Minieye的客户里,有些决策Minieye是Tier1的定位,提供给客户完整的解决方案。纵目科技在2013年至2015年一直属于Tier2;从2016年起转型为Tier1,在北京建立了自动驾驶研发中心,与主机厂交流构建完善的产品体系。
2)软件公司与芯片公司的竞合关系
算法公司与芯片公司的合作
AI算法的步骤为先训练,后转换模型。算法公司与芯片公司的合作存在必要性,原因在于软硬件需要深度优化。
软件公司首先考虑硬件的功耗和成本,硬件算力的极限值;然后权衡神经网络的层数与大小,在保证精度的情况下对网络裁剪,形成一个不断迭代的流程,最大效益得利用芯片。
之后利用一些工具来测量它的真实性能。该过程基于跟芯片平台有非常深度的合作,以及软件公司降低算法模型的运算量。
软件的通用性车体视觉的兼容性不及车载视觉的兼容性。车体部分涉及到控制、车与车之间差异性更大,封闭性更强;车载软件的通用性更好,商汤的DMSSDK可支持多硬
件平台,包括X86、ARM等;MMSolutions的AutoCDK与全景环视解决方案和瑞萨、德州仪器等一线芯片厂商兼容,已实现预装。
软件公司造芯的动态与挑战软件解决方案企业尚未大规模进军芯片来,主要源于自动驾驶芯片的设计和验证难度远超普通芯片,从流片,到车规级测试,再到最后装车量产需要长周期与大量研发投入。
软件公司主要有两个原因:
双方企业开放Knowhow的障碍:对于处于成长周期的计算机视觉行业和高技术壁垒的芯片行业,开放算法或者重构计算单元非常具有挑战。头部算法公司为保护其数据与算法安全,考虑直接布局芯片。
硬件迭代速度慢:软件定义芯片成为专家强调的趋势。合作造芯过程中,硬件更新周期长于软件更新周期,致使硬件配置难以有效匹配不断迭代的软件需求。
Mobileye开启算法公司自研芯片的先河。2016年创办的黑芝麻科技为主机厂和供应商提供端到端全栈式的软硬件平台解决方案,对标Mobileye同时自研视觉感知算法和自动驾驶芯片。目前黑芝麻已与上汽、一汽、比亚迪等车商及博世等Tier1达成合作。
3)车商的角色变化
传统车商寻求差异化策略
主机厂传统职能为关键零部件的开发及整车的集成工作。近年国际合资车厂主动技术升级,本土厂商在竞争压力与政策推动下寻求差异化策略。
车企策略分化,成熟OEM主动转型新兴车企如蔚来汽车、威马汽车、天际等由于其没有造车经验积累,多数选择重量级供应商合作,从而可以缩短研发时间与行业龙头Waymo、特斯拉等的差距。
成熟车企积极寻求在竞争中摆脱技术上对于供应商的过度依赖,因此向上游延申,建立独立体系,自行开发迭代。上汽是国内自行研发自动驾驶核心技术的车企之一。
2015年,上汽即开始与Mobileye密集接触,希望在其EyeQ系列芯片上开发辅助驾驶功能产品,自行掌握辅助驾驶系统的开发能力。为了辅助这个目标,上汽2017年在Mobileye总部所在地以色列建立了创新中心,加强与Mobileye的技术合作。
上汽在名爵6车型上推出的MGPilot智能驾驶系统是国内传统车企首个不依赖某家Tier-1而自行开发的辅助驾驶系统。
▍视觉技术在车载领域的商业化实现
1.商业化机遇
1)需求的驱动力
消费弹性增长,购车年龄结构驱动根据麦肯锡2018年调研,我国消费者对全自动驾驶的接受程度逐年攀升。我国有接近50%消费者认为全自动驾驶非常重要,远高于美国(16%)与德国(16%)。平均消费者愿意为ADAS承受溢价4600美元,同样远超美国(3900美元)与德国(2900美元)。
安全意义
视觉对于自动驾驶存在显著的安全意义。防撞系统有效降低交通事故风险,Mobileye2016年测试结果显示,安装了
Mobileye系统的车辆每百千米前防撞警告次数平均下降27%;每百千米无意识车道偏离次数平均下降26%;当使用车距监测与警告时每百千米碰撞警告次数平均下降39%。
虚拟后视镜的安全性作用为遇到恶劣天气的适应能力,符合车规级的虚拟后视镜不会像镜头一样出现沾水、起雾等情况,同时也可以覆盖后视镜盲区,具有重要安全意义。
2)政策激励视觉发展
去年7月,中国汽车技术研究中心的C-NCAP2018考评体系出台,增加了行人保护试验与主动安全(AEB系统)试验两大重要项目,整体碰撞测试标准向欧美国际碰撞测试标准看齐。主动安全性测试主要考验汽车AEB系统、FCW系统、人机交互和误作用等几项相较2015版规则严苛很多,增加注重后排乘客和行人的安全性。
新版更加严苛的测试项目刺激国内车企拓展L1与L2产品矩阵,把安全性纳入产品开发与购置的重要考虑范围,直接促进了ADAS视觉功能的发展。
▍视觉算法的商业实现
盈利模式
视觉方案在前装和后装市场的主要盈利模式不同。前装市场对安全性能与个性化指标方面要求更高,要根据主机厂需求开发,基于大量测试的反馈基础上优化算法。后装市场落地速度相对更快、综合成本低,是初创企业资金回笼的选择之一。
合约开发模式
涉足前装的公司与Tier1或整车厂形成长期合作关系,以批量订单形式生产。其中利润来自与开发有关的研发费用、授权费用以及日后维护/升级费用。
其中,部分算法公司提供芯片、模组、子系统等产品,剩余公司只提供软件算法。
在与整车厂的合作过程中,算法公司通过Tier1间接报价给整车厂,或直接报价整车厂。在赢得订单并获得整车厂RFQ后,算法公司一般采取2种盈利模式:
Tier1为其支出的NRE费用(覆盖开发成本)和生产采购费用;
或是加上每部车收取的软件版税收入。
线下代销或线上直销模式算法公司在后装市场的普遍选择。软件公司选定芯片供应商,自行承担采购费用并提供完整终端成品,包含电路板、摄像头与支架。
价格预设
据我们判断,后装市场的单双目方案有降价趋势。目前一代单目方案国产厂商基本可以把价格控制在2000~3000元之间。随着芯片成本下降,业务规模化,下一代单目方案售价普遍有望降至2000元以下。双目行业水准比单目贵30%~50%,基本在3000~4000元左右。双目方案售价有望降至3000以下。
单目方案降价随着硬件成本降低、规模化的基础上拉低成本。双目方案成本取决于算力芯片的开放度。支持双目方案的FGPA只有赛灵思有车规级产品。瑞萨和安霸分别推出R-CARV3H和自动驾驶芯片CV1/2。以上专门针对双目视觉处理器在运算能力上均与EyeQ4处于同一水准。
随着双目算力供给方案多元化,双目的硬件成本随之下降,在前装市场的竞争力也相应增加。
2.商业化挑战
视觉方案的落地普及化过程中,随着合作模式开放化、针对客户需求缺口的市场空间打开,后装产品技术成熟化及前装产品量产在即,视觉方案企业需要克服成本、研发周期、基础设施等方面的挑战。后装产品的成本集中于硬件成本,前装产品的成本以研发成本为主。两者在商业化后都需要合理应对非标准化的基础设施。
1)算法公司成本测算
生产成本后装市场中:
对于集中于单目方案的算法公司,生产成本如上述,约占其总营收35~40%。
双目方案的公司由于采用FPGA芯片,其量产成本约为ASIC的4~5倍,摄像头模组于其他物料的成本也至少翻倍。以市场售价3000~4000元来看,其生产成本占其营收的50%左右,毛利率低于单目方案。
前装市场中:
算法公司与合作Tier1共同承担原材料成本。
研发成本
参考Mobileye成本结构,研发成本集中在前装市场,主要来自公司的特定研发项目,被OEM的NRE(一次性研发费用)部分抵消。Mobileye的研发费用约占总营收的20%。
其他营业成本参照Mobileye成本结构,销售成本占总营收的5%~10%。根据我们草根调研,后装产品销售费用较前装更高,其中包括对用户的教育、宣传成本等。其余的运营成本约占总营收20%。综合上述,单目算法公司成本结构大致框算如下:
隐性成本
对于后装市场,客户对产品的性价比、安装速度、适配度都有较高的要求,这也是国内厂商具有的优势之一。Mobileye的产品因进口税、增值税等原因在价格竞争上处于劣势,同时安装时间长,不符合客户需求。
相比之下,国内算法公司如Minieye自主研发的安装工具精简,安装时间约20分钟,为客户节省人力开销和时间成本。
Maxieye同样从标定板和标定流程上进行了创新,将安装流程总时长缩短至15分钟,提高了客户适配车型的效率。国内企业基于本土客户需求做出的产品迭代是其致胜关键之一。
▍部分代表性公司
1.视觉方案龙头Mobileye(2017年英特尔收购)
Mobileye成立于1999年,由希伯来大学教授AmnonShashua和ZivAviram共同创立,总部在以色列。Mobileye主要从事ADAS系统和自动驾驶视觉技术开发,公司使命定为开发和推广单摄像头视觉系统,以协助驾驶员在驾驶过程中保障乘客安全和减少交通事故。同时Mobileye还拥有针对自动驾驶领域自主研发的EyeQ系列视觉处理芯片。目前Mobileye与全球超过25家主机厂商,13家汽车制造厂商都有合作,有超过2700万台汽车采用Mobileye的。公司于2014年在纽交所上市,市值达80亿美元,创下以色列公司在美国最高IPO纪录。2017年3月,Mobileye被Intel以145亿美金收购,创下了自动驾驶领域交易规模记录。
1)核心产品:视觉算法与EyeQ芯片
Mobileye的核心产品为其视觉算法解决方案及EyeQ芯片。EyeQ系列芯片由Mobileye与意法半导体联合开发,意法半导体负责架构设计、芯片制造、系统封装等,Mobilieye提供算法。Mobileye提供的视觉解决方案基于EyeQ芯片及其Mobileye的操作系统与软件开发包紧密耦合,为软硬件结合的一体化完整方案。
视觉算法
Mobileye将自动驾驶分为了三个主要组成部分:感知(Sensing) 地图(Mapping)与驾驶策略(DrivingPolicy)。感知指车辆所搭载的一切感知设备。高精度地图帮助车辆在整个路径规划中精确定位。驾驶逻辑或策略指计算机在获得了周边环境的感知信息之后的应对。
驾驶策略方面Mobileye采用深度监督式学习(DeepSupervisedLearning),使计算机通过观察和分析不同的数据来自行生成并调整决策逻辑。其算法在避免碰撞时间、功能集成上处于行业顶尖水准。其FCW的算法识别精准度已经达到99.99%,同类企业无法企及。
Mobileye同时在研发强化学习(ReinforcementLearning),即预判式的算法,模拟周围驾驶者对其新的驾驶策略所做出的反应的。。
芯片
Mobileye2004年开始研发EyeQ1,至现在已提供EyeQ5的工程样品。2016年,Mobileye和意法半导体宣布,将合作研发Mobileye第五代SoC芯片,作为2020年实现全自动驾驶的处理器平台,为L4/5级自动驾驶汽车提供以视觉为核心的计算机传感器融合。
未完待续。。。。。。
如需获取完整版PDF文档报告
第一步,关注“智车行家”
第二步,后台回复“视觉”即可免费领取
往期精彩回顾
邀请函 | 2019汽车雷达暨传感器融合前瞻技术展示交流会
报告l AI芯片国内市场面临更大机遇
限时领取 | 汽车电子—半导体行业的下一个春天
限时领取 l 5G-V2X在智能网联商用上蓄势待发
限时领取 l 贸易冲突下华为海内外产业链解析
智车行家邀你加入自动驾驶汽车行业交流群
第一步
扫描下方二维码,扫码添加小易@智车行家
【免责声明】文章为作者独立观点,不代表智车行家立场。如因作品内容、版权等存在问题,请于本文刊发30日内联系智车行家进行删除或洽谈版权使用事宜。