高端摄像头的核心技术（视觉感知挑战天花板）

高端摄像头的核心技术（视觉感知挑战天花板）在邵科看来，从芯片角度来讲，首先CMOS图像传感器是主要的数据来源，我们也是一直在看芯片的性能如何提升。比如，白天和晚上的成像效果，对于后端算法以及最终产品的性能是关键一环。此外，传感器性能提升仍然是当务之急。“随着智能驾驶进入高阶落地周期，传感器大家用得越来越多，为了更周全的探测周围的环境，我们也在思考是不是可以通过更高的分辨率，能够把传感器做融合，从系统方案上对硬件做简化，但是算法和其他的可以做得越来越复杂。”思特威汽车芯片部副总裁邵科表示。在近日举办的2022年度（第四届）高工智能汽车市场峰会上，来自地平线、德赛西威、思特威、福瑞泰克、智华科技等行业头部企业的与会嘉宾就提出了关于产品Road Map要实现产业链上下游「对齐」的概念，帮助Tier1以及OEM快速实现方案落地。在过去，市面上有不同的感知组合方案，同时，Tier1、硬件以及软件厂商要根据不同的方案选择进行定制开发，使用不同

“视觉将继续成为实现自动驾驶的关键技术，而摄像头仍将是数据收集的首选主传感器。”在不少行业人士看来，随着数据处理算法的进一步迭代升级，从传统机器视觉、深度学习再到类似BEV这样的模型应用，基于摄像头的多维感知也正在进入一个新的发展周期。

现阶段，4D成像雷达、激光雷达正在补齐「高性能」感知的量产组合，但核心难点和突破的瓶颈还在于视觉感知。而从实际上车角度来看，优先解决多摄像头环绕感知能力也是重中之重。

高工智能汽车研究院监测数据显示，今年1-6月中国市场（不含进出口）乘用车前装标配多颗高像素、环绕组合摄像头高阶智能驾驶方案上险为27.4万辆，同比增长近100%。今年下半年，更多的新车型也将进入上市周期。

在具体传感器方面，数据显示，今年上半年在原有前视、全景环视摄像头继续保持增长的同时，周视/后视ADAS摄像头搭载量首次突破百万颗，达到131.82万颗，同比增长87.4%。

“随着智能驾驶进入高阶落地周期，传感器大家用得越来越多，为了更周全的探测周围的环境，我们也在思考是不是可以通过更高的分辨率，能够把传感器做融合，从系统方案上对硬件做简化，但是算法和其他的可以做得越来越复杂。”思特威汽车芯片部副总裁邵科表示。

在近日举办的2022年度（第四届）高工智能汽车市场峰会上，来自地平线、德赛西威、思特威、福瑞泰克、智华科技等行业头部企业的与会嘉宾就提出了关于产品Road Map要实现产业链上下游「对齐」的概念，帮助Tier1以及OEM快速实现方案落地。

在过去，市面上有不同的感知组合方案，同时，Tier1、硬件以及软件厂商要根据不同的方案选择进行定制开发，使用不同类型的模型来进行融合感知和决策，实际上这背后有巨大的隐性开发成本的产生。

此外，传感器性能提升仍然是当务之急。

在邵科看来，从芯片角度来讲，首先CMOS图像传感器是主要的数据来源，我们也是一直在看芯片的性能如何提升。比如，白天和晚上的成像效果，对于后端算法以及最终产品的性能是关键一环。

而在整个平台适配上，包括镜头、CIS、ISP这些需要大家配合起来，才能使得整个硬件平台最终达到更加好的系统级性能。比如，针对特定ROI能够输出更高分辨率的图像。

同样，在毫末智行技术总监潘兴看来，激光雷达在测距和构建3D信息方面更准确，摄像头的纹理信息则更加丰富。但视觉感知能力的天花板高于激光雷达，对数据的要求也非常高，需要形成数据闭环。

目前，在数据算法上，毫末智行构建了智能数据体系MANA（雪湖），并把Transformer算法引入到其数据智能体系MANA中，区别于传统的基于循环神经网络RNN架构的序列算法。

同时，自研的BEV（Bird’s-eye-view） Transfomer可用于车道线识别，能在城市道路上实现多传感器融合车道线识别。

以路口通行四大场景为例，在红绿灯识别、左右转直行、环岛同行和无保护左转场景下，毫末智行的城市NOH的路口通过利率能够达到70%；变道场景下，导航变道和低速变道的成功率也达到90%。

其中，在识别红绿灯和车道线这两个城区智能驾驶的关键功能上，毫末独创的“双流”感知模型，将红绿灯检测和绑路问题分解成两个通道；同时通过“目标粗定位”和“属性精细估计”两个阶段实现标注的自动化，在城市道路上实现了多传感器融合车道线识别。

而在计算芯片端，主要玩家的精力仍然是聚焦视觉感知处理能力的强化。

以Mobileye发布的EyeQ6H芯片为例，计算能力是之前的EyeQ5H芯片的三倍，并且构建了专用的图像信号处理器(ISP)、图形处理单元(GPU)和视频编码器。同时，通过开放内部开发工具，允许客户直接在SoC上托管第三方应用程序，从传统前向感知扩展到环绕360度。

高通也是如此，Snapdragon Ride™平台的下一代4nm芯片，同样给出了全新的开放、可扩展和模块化计算机视觉软件栈（收购的Arriver公司提供），满足前置和环绕摄像头的能力优化，并支持功能安全/SOTIF。

同样，已经拿到多个品牌车型量产定点的地平线征程5，作为该公司的第三代车规级产品，兼具大算力和高性能，单颗芯片AI算力最高可达128TOPS，真实AI性能达到1283 FPS，支持16路摄像头感知计算。

其中，在视觉感知处理上也做了特别的优化。比如，针对自动驾驶场景，从摄像头在线输入、离线DDR，通过金字塔核心、拼接光流处理，能够在预处理阶段大幅降低延迟至60毫秒。

同时，为了保证在实际场景应用中的速度最快，延迟最小，在BPU核心中，地平线选择针对一次高效处理一张图片做架构优化，实现低延迟。而硬件方面，征程5芯片配置了2个ISP核心、计算机视觉引擎、2个DSP核心、视频编码解码单元。

此外，在传感器芯片端，比如，摄像头的CIS和ISP处理器，前者目前除了像素提升，还需要不断提升动态范围、夜视（低光照）性能以及低功耗、尺寸等指标。而ISP同样需要更好的适配场景和算法，同时也在演变出不同的产品路线，以及软件定义工具平台。

背后是，一个比较明显的差异化结果：即便是基于相同的视觉处理芯片、算法，由于摄像头的差异（比如，CIS的性能、ISP的调教），可能就会出现同一个功能的明显表现差异。一些供应商也在寻求实现ISP的标准化应用，从而解决相应的额外开发成本。

今年初，Arm宣布正式发布汽车级Mali-C78AE ISP，符合ISO 26262 ASIL B功能安全要求。在Arm看来，未来五年，汽车摄像头市场的规模还在快速增长，单车配置10-13个摄像头会成为常态，这意味着，ISP市场（需要适配不同的需求）也在同步扩大。

而相比于传统摄像头内置的ISP，Mali-C78AE有超过380个故障检测电路，可以检测连接摄像头的传感器和硬件故障。这对于需要满足更高功能安全要求的系统来说，至关重要。

在产业链端，国产化替代也是一大趋势。

作为唯一入围2022年中国智能网联软硬件百强供应商的中国本土车载CIS市场份额领先企业，思特威已经发布并量产了6款车规级的高性能CIS产品，与此同时也已展开了新一代的车载CIS产品的全面规划。

思特威获得高工智能汽车研究院颁发的2022年中国智能网联软硬件百强供应商

此前思特威推出了基于SmartClarity®-2技术平台的图像传感器——SC220AT，搭载SFCPixel®专利技术及PixGain等多项升级技术，不仅片上集成了升级的自研ISP算法，实现更加优异的图像质量，还兼具动态行交叠HDR与PixGain HDR®两种HDR模式，满足各类速度运动应用场景下的多元化HDR性能需求。

这款2.5MP车规级图像传感器，能够帮助实现360°环视应用的性能升级，比如，匹配高阶智能驾驶系统的全景周身感知的需求。

背后，以BEV绕不开的环视/侧视摄像头为例，提出了对摄像头的分辨率与暗光成像等性能更高的要求。比如，传统的360环视更多只是解决人机交互的问题，图像的现实和拼接仅仅是辅助驾驶员的感知和决策。

目前，已经有厂商通过4个高像素鱼眼摄像头，替代传统4个侧视 4个环视的高阶360度感知方案，支持大FOV视角以及80米的环视检测距离。而类似这样的方案设计，在后续行泊一体市场可以最大化帮助提升传感器的复用能力，并降低系统的整体成本。

此外，在前向感知赛道，随着800万像素成为市场主流，突破千万级别像素的车载摄像头以及远红外夜视摄像头都有可能成为新的补充组合。