赛道自动驾驶的科技（自动驾驶的高清地图生成技术综述）

赛道自动驾驶的科技（自动驾驶的高清地图生成技术综述）第二层车道模型（Lane Model），定义车道级别的特征，例如道路类型、线、道路宽度、停车区域和速度限制。该层作为感知模块，用于自动驾驶，根据实时交通或环境做出决策。第一层道路模型（Road Model），定义道路特征，例如拓扑、行驶方向、高程、坡度/坡道（slope/ramps）、规则、路缘/边界（curbs/boundaries）和交叉路口。这个用于导航。这种交互最终支持自动驾驶车辆的任务规划和运动规划，如图所示：在自动驾驶领域，没有独特的标准高清地图结构。然而，市场上有一些常用的高清地图结构，如NDS、DMP（Dynamic Map Platform）、HERE 高清实时地图和TomTom。大多数结构共享类似的三层数据结构。如表显示由TomTom、HERE和Lanelet（Bertha Drive）定义的三层结构化高清地图。如图所示是这种三层结构对应的术语示意图：

arXiv上传论文“High-Definition Map Generation Technologies For Autonomous Driving: A Review“，2022年6月11日，来自加拿大Ontario Tech University。

过去几年，自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自动驾驶的道路上，研究人员利用了各种传感器，如激光雷达、摄像头、IMU和GPS，并开发了用于自动驾驶应用的智能算法，如目标检测、目标分割、避障和路径规划。高清地图近年来备受关注，由于其定位精度高和信息量大，立即成为自动驾驶的关键部件之一。从Baidu Apollo、NVIDIA和TomTom等，研究人员已经为不同场景和目的创建高清地图，用于自动驾驶。本文回顾最近利用2D和3D地图生成的高清地图制作技术。本文介绍高清地图的概念及其在自动驾驶中的作用，并对高清地图生成技术进行了详细概述。另外，讨论当前高清地图生成技术的局限性。

“高清地图（HD map）”概念于2010年Mercedes-Benz首次引入，随后于2013年为Bertha Drive 项目做出贡献。在Bertha Drive项目中，Mercedes-Benz S500以完全自主的模式完成了Bertha-Benz Memorial Route，使用高度精确且信息丰富的3D路线图，该路线图后来被一家名为HERE的参与地图公司命名为“高清（HD）实时地图”。

高清地图包含自动驾驶所需的道路/环境的所有关键静态特性（例如：道路、建筑物、交通灯和道路标记），包括由于遮挡而无法由传感器适当检测到的语义目标。近年来，用于自动驾驶的高清地图以其高精度和丰富的几何和语义信息而著称。它与车辆定位功能紧密相连，并不断与不同的传感器交互，包括激光雷达、雷达和摄像头，构建自动驾驶系统的感知模块。

这种交互最终支持自动驾驶车辆的任务规划和运动规划，如图所示：

在自动驾驶领域，没有独特的标准高清地图结构。然而，市场上有一些常用的高清地图结构，如NDS、DMP（Dynamic Map Platform）、HERE 高清实时地图和TomTom。大多数结构共享类似的三层数据结构。如表显示由TomTom、HERE和Lanelet（Bertha Drive）定义的三层结构化高清地图。

如图所示是这种三层结构对应的术语示意图：

第一层道路模型（Road Model），定义道路特征，例如拓扑、行驶方向、高程、坡度/坡道（slope/ramps）、规则、路缘/边界（curbs/boundaries）和交叉路口。这个用于导航。

第二层车道模型（Lane Model），定义车道级别的特征，例如道路类型、线、道路宽度、停车区域和速度限制。该层作为感知模块，用于自动驾驶，根据实时交通或环境做出决策。

最后一层定位模型（Localization Model），顾名思义，在高清地图中定位自动车辆。该层包含路边设施，例如建筑物、交通信号、标志和路面标记。这些特征有助于自动车辆快速定位，尤其是在特征丰富的城市地区。

上述机构制作的高清地图精确且不断更新。然而，仅用于商业化目的，而不是开源。研究人员很难使用上述结构构建高清地图。因此，本文将回顾非商业化高清地图生成方法，这些方法可能有助于研究人员创建个性化高清地图，并开发新的高清地图生成方法。

数据获取/收集 是生成高清地图的第一步。数据采集用一个移动地图系统（MMS）完成。MMS是一种装有地图传感器的移动车辆，包括GNSS（全球导航卫星系统）、惯导IMU、激光雷达、摄像头和雷达，用于收集地理空间数据。商业化高清地图提供商采用众包技术收集数据，以构建和维护高清地图。

Level5与Lyft合作，沿加利福尼亚州帕洛阿尔托的固定路线派送20辆自动驾驶汽车，收集由17万个场景组成的数据集，一张带有1万5千242个标记元素的高清语义地图，以及该地区的高清鸟瞰图。TomTom通过多源方法收集数据，包括测绘车辆、GPS跟踪、社区输入、政府来源和车辆传感器数据。HERE利用全球400多辆制图车、政府数据、卫星图像和社区输入，不断获取最新的道路信息。

通过众包收集数据可以在很短的时间内得到大量最新的道路/交通数据。众包数据还包含不同的环境，包括城市、乡镇和农村地区。然而，由于多个移动地图系统付出的高成本和数据收集必要的时间开销，该方法不是研究人员的最佳解决方案。有研究人员也利用MMS收集数据。他们没有收集世界各地不同类型环境的数据，而是专注于规模小得多的区域，如城市、大学校园或住宅区。收集的数据类型也更多地用于研究目的。

此外，还有大量开源数据，如卫星图像、KITTI数据集、Level5 Lyft数据集和nuScenes数据集，供研究人员测试和生成高清地图。这些数据集包含2D和3D真实世界的交通数据，包括图像、3D点云和IMU/GPS数据，这些数据已经被组织和标注。

如表总结了数据收集方法及其比较

一旦收集到初始传感器数据，通常会对其进行融合和排序以生成初始地图，主要用于精确定位。 初始地图 主要使用3D激光传感器生成；然而，它可以与其他传感器融合，如IMU、GPS、里程计和视觉里程计，以便在高清地图中进行更精确的状态估计。INS和GPS传感器提供方向和位置信息，它们更新厘米精度范围内的地图位置。

这些点云地图具有很高的精度，后来可以帮助地面车辆在3D空间厘米级进行精确机动和定位。之后，从地图做点云校准后，将从PCL map创建 矢量地图 。点云校准称为多步过程（如图所示），将多个重叠的点云对齐，以生成详细而准确的地图。

矢量地图包含与车道、人行道、十字路口、道路、交叉路口、交通标志和红绿灯相关的信息。这一关键特征后来被用于检测交通标志和信号灯、路线规划、全局规划和局部路径规划。毫无疑问， 地图生成 是高清地图制作的一个组成部分，可以定义为一个HD地图的基础几何地图层。

地图生成技术可分为 在线地图 和 离线地图 。离线地图数据全部收集在一个中心位置。这些数据采用卫星信息或激光雷达/摄像头存储的数据。收集数据后，将脱机生成地图。另一方面，使用在线地图中的轻量级模块自动生成地图。除了地图生成类型外，地图绘制技术还可以通过传感器或传感器的融合方式进行分类。

以下讨论的地图技术需要基于激光雷达传感器，因为其在远距离显示出良好的精度。

目前，所有有前途的地图技术都将激光作为主要传感器用于地图绘制，完成高清地图。另一方面，有一些方法仅使用视觉传感器来构建点云地图。

有一种点云校准技术用于3D模型生成，可分成：基于分割、基于激光雷达、融合里程计的、融合GPS的、融合INS和融合视觉传感器的方法等。

如图是整体激光雷达制图的工作流：

为了让自车定位并遵循运动规划和任务规划，需要进行特征提取，例如道路/车道提取、道路标记提取和杆状目标提取。传统上，特征提取靠人工完成，成本高、耗时长、精度低。近年来，机器学习辅助高清地图生成技术得到了发展和广泛应用，可提高特征提取精度，减少人工工作量。

机器学习辅助的高清地图制成，利用 人-在-环（HITL） 技术，该技术涉及人机交互。人工数据标注，标注的数据使用监督学习进行训练。高精度/置信度的结果将保存到HD地图，低精度/置信度的结果将由人工检查并发回算法进行重新训练。机器学习已被广泛应用于提取道路/车道网络、道路标记和交通信号灯。

• 道路网络提取

1） 基于2D航空影像的道路提取

道路图/网络对于自动驾驶系统至关重要，以定位自车并规划路线。从航空图像中提取道路地图也很有吸引力，因为航空照片通常覆盖城市范围的地图，并通过卫星不断更新。然而，从航空图像手工创建道路图需要大量的人力和时间。由于人为错误，也不能保证精确的道路图。因此，需要自动化道路图提取的方法。

2D航空影像的自动道路网络提取可分为三种不同的方法： 基于分割的方法、迭代图生长方法和图生成方法 。

基于分割的方法从航空图像中预测分割概率图，细化分割预测并通过后处理提取图。

迭代图生长方法首先选择道路网络的几个顶点，从2D航空图像生成道路网络。然后，逐顶点生成道路，直到创建整个道路网络。

图生成方法直接从航空图像中预测道路网络图。该方法将输入的航空图像编码为向量场，通过神经网络进行预测。然后通过解码算法将预测解码为图。该方法已被用于预测道路网络图，包括线段、线形目标和多边形的建筑。

在SpaceNet和DeepGlobe数据集上对各种分割方法进行评估，结果如表所示：

2）从3D点云提取道路

在生成高清地图的过程中，基于3D点云的道路或车道提取得到了广泛的应用。激光雷达点云具有高精度，通常在毫米级精度，并包含扫描目标的几何信息。使用3D点云的道路提取是用分割。

3）采用传感器融合的道路/道路边界提取

2D航空影像和3D点云上的道路提取都有局限性。由于照明条件差、路边设施造成的遮挡以及各种地形因素，从卫星和航空图像中提取的道路网络通常不准确且不完整。基于3D点云的特征提取还面临遮挡和点密度波动问题，这会导致不准确和不完整的道路提取。在提取道路或道路边界时，单一数据源的局限性显而易见。因此，研究人员一直在利用多源数据来提取和完成道路或道路边界。

4）其他方法（略）

道路提取可以通过不同的数据源完成，包括摄像头图像、卫星和航空图像、激光雷达点云和GPS轨迹。卫星和航空图像可以覆盖大尺度地图，城市道路网络的道路提取因此变得高效。然而，从卫星和航空图像中提取的道路网络不包含深度或高程信息。

从航空图像中提取道路的性能在很大程度上取决于图像的质量。照明条件差、路边建筑造成的遮挡以及各种地形因素等因素都会降低提取性能。相比之下，从3D点云中提取道路具有更多的几何信息和较高的精度（毫米级），但也面临遮挡问题，导致道路提取不完整。点密度波动问题也会导致道路提取不准确。

引入传感器融合方法，通过融合不同的数据源（如航空图像、GPS数据、摄像头图像和激光雷达点云），进一步提高道路提取性能。传感器融合方法优于单一数据源的方法，在道路提取方面取得了显著的效果。

下表总结了三种方法的比较：

• 道路标记提取

道路标记/人行道标记是混凝土和沥青路面上的标志。通常涂有高度反光材料，对人类视觉和自动驾驶车辆的传感器可见。道路标记是高清地图的基本特征，为自车提供有关交通方向、转弯车道、可行驶和不可行驶车道、人行横道等信息。与道路提取方法类似，也可以使用2D图像或3D点云进行道路标记提取。

1）2D图像

传统上，2D图像的道路标记提取通过图像处理和计算机视觉来实现。首先对包含道路标记的图像进行去噪和增强，使道路标记清晰可见，并突出目标（target）和背景区域之间的对比。然后，使用图像处理和计算机视觉方法提取目标道路标记，如基于边缘的检测（如Roberts、Sobel、Prewitt、Log和Canny等算子）、阈值分割（如Otsu方法和迭代方法）、k-均值聚类和区域增长法。

传统的方法在从人行道或混凝土道路中提取道路标记方面取得了显著的效果。然而，没有正确识别不同道路标记的简单提取对于自车理解道路规则来说不够有效。随着CNN的引入和快速发展，涉及CNN的方法已被广泛开发并用于检测和识别道路标记。

2D图像上的道路标记提取和识别通常采用两种不同的方法。一种是利用车载摄像头捕获的前视图图像。二是从航空影像中提取道路标线。这两种方法的示例如图所示：

在前视TuSimple数据集的道路标记提取方法比较如下：

UAVMark20 和 AerialLanes18 是两个航空图像数据集，其中道路标记提取方法的比较如下：

与航空图像相比，前视图像上的道路标记提取方法视野更小，并且检测/处理时间也比在航空图像要长。然而，由于检测基于实时摄像头图像，因此可以对道路标记的更改，如磨损和遮挡，比较灵活。相比之下，航空图像上的道路标记提取可以提取更大尺度的道路标记，并将提取的道路标记存储在高清地图中，减少检测时间。然而，对由照明条件、遮挡和道路标记磨损引起的数据毛病非常敏感。

2）激光雷达点云

在3D点云上提取道路标记，通常有两种不同的方法， 自底向上（bottom-up） 方法和 自顶向下（top-down） 方法。自底向上方法通过分割道路标记和背景，直接提取道路标记。相反，自顶向下的方法使用CNN检测预定义的几何模型，并根据检测结果重建道路标记。

自底向上法 利用深度学习算法，在目标检测和分割的基础上，直接从原始的3D点云中提取道路标记。与阈值相关的方法及其扩展，包括多阈值方法和多阈值与几何特征滤波相结合的方法，广泛用于道路标记提取。在提取道路标记之前，将3D点云转换为2D georeferenced灰度图像，显著降低计算复杂性，但丢失姿态（位置和方向）或空间信息。

自顶向下法 使用现有的目标检测算法来检测和定位道路标记的几何模型。基于检测和定位，在3D点云上重建道路标线。

自底向上法可以直接从MLS点云中提取道路标记，加快道路标记提取速度，但对不完善的原始数据敏感。相比之下，不完美的原始数据对自顶向下法影响较小，但自顶向下法非常耗时，因为检测会导致巨大的搜索空间。与自底向上法相比，自顶向下法提取道路标记的方法并不多。因此，自顶向下的道路标记提取方法需要进一步研究。

值得提出来的是，在高清地图中，交通灯、交通标志、路灯、树木和电话线杆等 杆状（pole-like）目标 对于道路环境至关重要。它们可以帮助定位（不同于其他道路设施的形状）和运动规划（交通信号灯提供交通流条件）。杆状目标提取通常是通过MLS 3D点云的分割和分类来完成的，提取的性能也取决于点云的质量。因此，需要进一步研究如何提高非理想数据下的杆状目标提取性能。

随着高清地图越来越复杂，需要提取的环境特征越来越多，有必要用框架形式的软件工作，充分存储地图中的相关信息，并确保地图的视角一致性。这里有三种用于创建高清地图的流行开源框架，包括Lanelet2、OpenDRIVE和百度Apollo maps。

如图是LaneLet2地图结构:

如图是OpenDrive地图的三个特征/层：参考线/道路、车道和特征。

如图是百度Apollo地图的制作过程：

高清地图生成技术近年来发展迅速。然而，仍然存在一些限制。2D图像上的特征提取可以使用航空图像快速生成大尺度地图的车道线和道路标记等特征，但提取是不包含高度或深度信息。将道路网络GPS数据与收集的GPS数据进行匹配并添加相应的高度，可以手动将高度或高度信息添加到2D地图中，这样创建2.5D地图。然而，仍然缺乏深度信息，对自车绕过障碍物非常重要。2D HD地图对基础设施的细微变化也不敏感，无法保持地图的最新状态。

从MLS 3D点云提取特征是高清地图添加详细道路信息的一种更常见、更强大的方法。提取3D特征的高清地图可提供深度信息和更新的环境信息，但需要昂贵的激光雷达设施和高计算成本。收集可用的点云数据也很耗时。

高清地图存在的公开问题：

• 1、2D地图添加更多特征，如深度信息，并保持更新；
• 2、提高3D地图生成的效率，使大规模高清地图的3D制图模块成为可能，无需耗费太多时间和计算能力。

一种解决方案是集成道路网络和点云数据以生成高清地图，这可以通过Autoware实现。

目前还没有很多针对人行道特征提取的方法（几乎没有）。这是至关重要的，也是迫切需要的，因为一些自动驾驶系统要么设计用于在人行道行驶，要么要求在高速公路测试之前在人行道上进行可行性测试。此外，高清地图的补全和完成（将所有模块和特征合并到高清地图中）仍然是地图公司开发的商业化方法。这对于学术界和研究人员来说仍然是一个悬而未决的问题，需要进一步的研究和结论。

来源:知乎 作者:黄浴

出处:https://zhuanlan.zhihu.com/p/529272711