环境感知技术具体应用（水面环境感知技术）

环境感知技术具体应用（水面环境感知技术）视觉摄像头在不同环境下的表现视觉摄像头成本低廉，数据能够充分刻画物体的色彩，纹理等信息，具有描述周边物体的语义的能力。多个相机组成的模组还可以测距，能够清楚的描述物体间的相对位置关系。但它容易受到周边环境的干扰，在夜晚，大雾，强光等天气下，工作能力快速下降。在水面环境下更尤甚之，比如水面的反光，倒影等。这些情况都会对算法性能产生较大影响。激光雷达视觉摄像头毫米波雷达

近年来，随着无人驾驶与机器人技术的快速发展，无人车、无人机及服务型机器人逐渐出现在街道，商场等地。主要应用于物流运输，公共交通，共享出行，环卫保洁等领域。在实际应用过程中，机器人经常会受到光线变化，雨雪雾霾等天气的干扰，一些意外情况使机器人对周边环境的感知更为困难，进而引发决策及控制失误等问题，造成损失。因此，一套精准的环境感知方案，是无人驾驶技术中的必不可少的一环。

1.水面感知传感器的选择和固有缺陷

作为无人驾驶技术中的眼睛——传感器，是环境感知方案中的感官部位。传感器通过获取周边环境的数据，处理相应信息，再传递到决策模块，决策规划后控制系统做出响应，完成指定任务。在环境感知方案中，常用的感知传感器有视觉摄像头，激光雷达，毫米波雷达等。不同的感知传感器在不同场景下各有优劣。因此，依据不同传感器的特点，在水面环境中选择一种或多种感知传感器，从而有效的描述周边环境，是建立感知方案的基础。

环境感知中常用的传感器

激光雷达

视觉摄像头

毫米波雷达

视觉摄像头成本低廉，数据能够充分刻画物体的色彩，纹理等信息，具有描述周边物体的语义的能力。多个相机组成的模组还可以测距，能够清楚的描述物体间的相对位置关系。但它容易受到周边环境的干扰，在夜晚，大雾，强光等天气下，工作能力快速下降。在水面环境下更尤甚之，比如水面的反光，倒影等。这些情况都会对算法性能产生较大影响。

视觉摄像头在不同环境下的表现

夜晚

大雾

强光

另一款传感器激光雷达的成本较高，但激光雷达能够清楚的描述周边环境的三维几何信息。对于目标形状的精准刻画，是其他传感器都不具有的能力。但激光雷达容易受到雨雪烟雾等天气的干扰，致使数据出现偏差，工作性能下降。在水面环境中，强烈的水面反光也会对激光雷达检测产生干扰。

激光雷达在不同天气下的表现[1]

大雾环境

大雾环境的点云

降雨环境的点云

激光雷达生成的雨柱

毫米波雷达具有能测速，穿透能力强，对环境鲁棒性好的特点。在陆地无人驾驶技术中，通常会将毫米波雷达、激光雷达、摄像头等多个模块互相组合，构建无人驾驶技术中的感知模块。但在水面应用过程中，场景条件变得更为恶劣（易形成雾、水面反光等），使激光雷达的探测性能下降。欧卡智舶经过不断探索，形成了毫米波雷达搭配视觉摄像头，可以全天候工作的感知方案。

在水面应用毫米波雷达进行环境感知过程中，水面场景存在以下三个挑战：

（1）雷达点云较为稀疏

毫米波雷达受硬件条件的限制，毫米波在目标表面产生镜面反射，导致雷达无法接收到部分回波。同时毫米波雷达发射天线与接收天线较少，点云的角度分辨率比较低。最终导致形成的点云较少，对目标的几何信息构建不充分。

不同传感器的检测效果

如图所示，在同一场景，同一时刻下的视觉摄像头图片（左上），激光雷达点云（右上），毫米波雷达点云（图下）中，激光雷达点云与摄像头画面能够完整的反应机器人周边环境的几何信息。毫米波雷达点云较为稀疏，单帧的点云难以提取有效的几何特征。

（2）检测目标闪烁

由于毫米波雷达电磁波的特性，对水面小目标的连续检测并不稳定，具体表现为过程中待检测目标的闪烁现象，即在相邻的几帧中，雷达无法连续检测目标，出现雷达漏检现象，进而影响后续对目标的定位，追踪等过程。

连续帧的目标观测

上图为一组雷达连续检测图，其中绿色点云为毫米波雷达与相机通过空间标定后得到的空间投影的结果。在图中，水面目标会在雷达的观测范围内形成点云。显而易见的是，不同帧检测结果重合度低，一些目标可以稳定检测，一些目标检测不连贯，而不稳定的检测则会直接带来有效目标的漏检。

（3）杂波点干扰

与陆地不同的是，毫米波雷达在水面由于水浪的波动，会产生一定量的水杂波，这类水杂波在空间分布上没有规律。在水面环境中，远处经常会出现水波，空间随机性强，容易造成检测虚警，对无人船的决策与控制系统带来很大困扰。

水杂波场景

如上图所示，该图为毫米波雷达与相机做过空间标定以后的空间投影图。在该场景下，水面风浪较大，雷达会检测到大量的水杂波，形成无效点云，影响后续任务。

2.快速迭代、突破难关

针对水面环境感知中存在的问题，欧卡智舶经过长时间的技术积累，形成了摄像头搭配毫米波雷达进行多模态融合的感知方案，并在实际场景中进行应用。通过不同技术的有机结合，针对当前存在的问题，利用已有资源不断调整与修改，同时结合深度学习的方法，提出一套稳定、精确的解决方案。

（1）点云质量的提升

在硬件层面，一方面我们通过雷达天线设计与雷达波形参数设计，实现一种适用于水面环境的调频连续波波形。在雷达信号处理算法层面，我们自主设计了在水面场景下的雷达检测器，并通过雷达数据的后处理，将点云量扩充数倍。通过硬件与算法的结合，我们可以实现在水面场景下获取高质量的点云。

下图为在真实场景下点云质量提升前后的对比图，可以看出优化后的点云已经可以清楚且稳定的描述周边局部信息，这对后续的工作产生了极大的价值。

点云质量提升前后的对比

（2）多模态感知

尽管我们对毫米波雷达点云质量进行了提升，但是点云本身对于三维空间的刻画，相比于视觉仍然缺少一些语义的信息，因此我们通过引入视觉信息，实现对两种传感器数据进行深层次的融合。通过数据驱动算法，将视觉图像与点云数据进行深层次融合，达到降低雷达虚警率目的的同时，赋予了周边环境深层次语义信息，并使其在一些恶劣环境下可以精准感知，大大提升了环境感知性能。这为无人船的高效作业提供了有效保障。

下面是一个进行多模态融合感知的建图视频，视频中的雷达点云可以清楚的描绘周边环境几何形状信息，建立高精地图。同时为视觉感知提供了侧岸的距离，使其更为精准的完成贴岸航行任务。

结语
在无人驾驶技术中，环境感知是极为重要的一项技术，它是机器人的感官部位。对于一个机器人来说，合理的感知方案是其稳定作业的必要保障。对于陆面无人驾驶技术而言，当前存在的感知方案依然存在安全风险。而在水面环境中，此项技术则存在更多的问题。

欧卡智舶在探索水面机器人技术中，极为重视水面环境感知技术。我们希望在未来，能够快速推进水面感知在机器人、无人驾驶产品中的应用，引起更多专业科技人才对水面感知技术的探索。

参考

[1] Yuxiao Zhang Alexander Carballo Hanting Yang Kazuya Takeda. Autonomous Drivingin Adverse Weather Conditions: A Survey[J].arXiv preprint arXiv:2112.08936v1 2021