高分辨率遥感影像分割算法研究：高分辨率遥感影像飞机目标的双阶段检测方法

高分辨率遥感影像分割算法研究：高分辨率遥感影像飞机目标的双阶段检测方法针对以上飞机检测存在的问题，本文从系统检测思路的角度出发，提出一种考虑机场与飞机的空间层次关系的双阶段目标检测框架：利用机场场景和飞机目标之间的层次关系与显著的尺度差异，结合迁移学习方法，按照尺度由粗到细的方式进行机场场景和飞机目标的检测，通过第一阶段的检测网络识别出机场以及影像的筛选，有效剔除针对飞机目标的无效检测区域，再通过第二阶段的检测网络进行飞机的检测，实现检测效率与准确率的提升。该框架具有简洁的形式和良好的灵活性，针对不同特定目标可以嵌入不同的网络模型。本文主要工作涉及相关数据集的制作和两阶段的深度模型迁移训练，以及两阶段不同尺度影像的应用，并选取高分二号影像测试双阶段检测框架对飞机目标检测的提升效果。目前，大量相关研究中，针对飞机和机场目标检测任务是相互独立的，比如直接进行机场识别的研究而不考虑飞机目标，或者是直接以机场为检测场景来检测飞机目标等。尽管机场场景与飞机目标在空间尺

刘思婷1 2 王庆栋2 张 力2 韩晓霞2 王保前2

（1. 兰州交通大学 测绘与地理信息学院 兰州730070；

（2. 中国测绘科学研究院，北京100036）

摘 要 ：针对现有方法进行真实应用场景中大批量的遥感影像进行特定目标检测时耗时且困难的问题，该文根据由粗到精的思路提出了一种遥感影像飞机目标的双阶段检测框架。首先，对预训练模型进行迁移训练，在下采样影像中利用机场检测模型搜索机场区域，实现对目标区域的锁定。然后，对机场场景，利用第二次迁移的模型进行飞机目标检测。结果表明，所提方法可以提高遥感影像检测飞机目标的效率和精度。通过不同阶段的筛选可以去除大部分无效区域，有效避免了在非机场区域产生的误检，提高了准确率。

0 引言

随着测绘领域的发展和测绘设备性能的提升，遥感影像的分辨率不断提升，传统的遥感数据处理模式已经无法满足用户当前对遥感服务的需求。如何能够更高效、准确和智能地从海量的高分辨率影像中获取目标信息，一直是测绘领域的研究热点。文献指出，摄影测量与遥感学科与计算机视觉、人工智能等专业的进一步交叉融合，是寻求更实际的自动化解题能力的必然之路。近年来，在遥感图像处理方面越来越多倾向于深度学习方法，通过深层卷积网络自动地从大量标注的数据中学习目标的特征，不需要人工设置特征，从而得到好的结果。

飞机作为重要的交通工具与军事目标，针对飞机的目标识别与检测任务，在航空运输、紧急救援以及军事侦察等方面具有重要作用。在对飞机作为目标的检测中，深度学习的方法应用比较广泛，主要基于候选框的算法和基于回归的算法。在对两类算法的对比研究中发现，基于回归的方法速度更快，但基于候选框的方法检测精度相对更高。很多算法都在这两类算法的基础上进行改进，如徐佰祺在YOLO-V4的基础上改进，提出了一种联合多尺度特征和注意力机制的遥感影像飞机目标检测方法，提高了对小目标飞机的检测性能；文献在单一目标多尺度检测(single shot multibox detector SSD)基础上设计了反卷积特征融合模块，得到结构层次丰富的多尺度融合特征以适应多尺度飞机目标检测；王冰结合飞机目标几何特征建立飞机目标特征提取网络，提出了一种飞机目标检测方法(AFSSD)，从而有效检测不同尺寸的飞机目标； 另外，机场是一种与飞机目标联系紧密的基础设施，同时也是一种重要的解译目标，针对机场场景的检测有利用显著性检测算法检测出机场显著区域的方法、利用机场的平行直线特征设计检测算法等。比如通过计算影像显著图进行遥感影像上的机场检测、基于直线邻近平行性和显著性对遥感图像机场进行检测等。由于缺乏机场样本数据集，无法使网络获得对机场特征的好的学习能力，限制了深度学习方法在机场检测方面的应用。

目前，大量相关研究中，针对飞机和机场目标检测任务是相互独立的，比如直接进行机场识别的研究而不考虑飞机目标，或者是直接以机场为检测场景来检测飞机目标等。尽管机场场景与飞机目标在空间尺度上存在显著的层次相关性，但大多数研究并未利用这一特性来提高语义识别与检测的准确率和效率。总体来看，现有检测飞机的相关研究存在以下方面的不足：①空间尺度层次关系挖掘不足。机场是供飞机起降的一种特殊场景，塔台、跑道、停机坪和飞机是其内主要设施。这使得机场场景和飞机目标在空间尺度上具有一种天然的层次关系，即飞机目标出现在这一特定场景的可能性远高于其他场景。这种层次关系在遥感影像机场与飞机目标检测任务中缺乏实际研究；②过多无效且耗时的检测区域。机场属于大型基础设施，多修建于大型城市，中小型城市数量少甚至没有，因此机场还属于稀少目标。检测飞机目标时，除机场场景外的绝大部分区域可认为是无效检测区域，造成计算冗余。在遥感影像中，相较于机场场景，飞机属于小尺度目标。对于高分辨率遥感影像覆盖的测区，现有针对飞机的检测需以原始影像作为输入，同时对影像90%以上的非机场区域也在原始分辨率级别进行无效的飞机目标检测，这大大增加了目标检测的成本与时间，严重限制了真实场景下的实用性。

针对以上飞机检测存在的问题，本文从系统检测思路的角度出发，提出一种考虑机场与飞机的空间层次关系的双阶段目标检测框架：利用机场场景和飞机目标之间的层次关系与显著的尺度差异，结合迁移学习方法，按照尺度由粗到细的方式进行机场场景和飞机目标的检测，通过第一阶段的检测网络识别出机场以及影像的筛选，有效剔除针对飞机目标的无效检测区域，再通过第二阶段的检测网络进行飞机的检测，实现检测效率与准确率的提升。该框架具有简洁的形式和良好的灵活性，针对不同特定目标可以嵌入不同的网络模型。本文主要工作涉及相关数据集的制作和两阶段的深度模型迁移训练，以及两阶段不同尺度影像的应用，并选取高分二号影像测试双阶段检测框架对飞机目标检测的提升效果。

1 基于双阶段检测方法的飞机目标检测

1.1 双阶段检测框架

本文所提出的算法框架主要包含对嵌入网络的两次迁移学习分别得到机场检测网络和飞机检测网络，以及不同尺度影像的应用，检测思路如图1的检测框架所示。由于目前的高分辨率遥感影像可达到亚米级，而机场属于尺度较大的目标，故对影像进行降采样到8 m左右，一方面可以保留机场的主要特征利于网络检测，另一方面避免高分辨率影像过多的细节信息和较大的数据量造成的计算冗余，可以提高检测效率。所以，原始影像首先经过降采样层调整到分辨率较低的空间尺度，然后利用第一次迁移训练的机场检测网络进行检测，实现机场区域的检测，至此完成第一阶段检测任务。在得到机场位置和掩膜信息的条件下，对无机场的影像直接剔除，只保留有机场区域的影像，为飞机检测缩小范围。将第一阶段的机场检测结果-矩形框对应的原始高分辨率影像区域提取出来，转到高分辨率影像的飞机检测中去，利用第二次迁移训练的飞机检测网络进行飞机目标的检测，最终得到飞机目标的位置和掩膜信息。两阶段的检测误差均会影响最终的飞机目标检测准确率，故结合两阶段网络的检测性能综合评定本文所提双阶段检测框架对于飞机目标检测的性能。

1.2 嵌入网络及其迁移学习方法1.2.1 Mask R-CNN网络

本文选择多任务的Mask R-CNN网络作为嵌入模型，可以同时进行目标的识别、定位和分割。该网络在自然图像的目标检测任务中表现出稳定的性能，并且也被应用于遥感影像的目标检测任务中，比如在建筑物检测与分割任务中应用较为广泛，在精度和稳定性方面都获得了较好的效果。

Mask R-CNN网络的结构如图2所示。具有强特征提取能力的深度残差网络ResNet101结合特征金字塔网络 (feature pyramid networks，FPN)作为主干特征提取网络(back bone)，连接区域建议网络 (region proposal network，RPN)进行候选框的生成和筛选，最后连接三分支分类器(classifier)获得分类、定位和分割结果。Mask R-CNN是在Faster R-CNN的基础上改进的目标检测网络，能达到很高的检测精度。它需要先产生目标候选框，再对候选框做分类与回归，属于基于区域的二阶段(two-stage)检测算法，二阶段算法基本结构是backbone RPN Classifier部分结构。还有基于回归的一阶段(one-stage)检测算法：通过卷积神经网络提取特征后，将特征图均匀分割成网格，在网格上使用候选框预测不同目标的类别和位置，主要以SSD、Yolo算法为主。本文提出的双阶段检测框架是针对两种目标由粗到精的检测思路来说的，而此处的one-stage与two-stage检测算法是针对深度学习目标检测算法的具体步骤而言的，两者针对性不同。

在Backbone中，深度残差网络可以解决网络退化问题，它由一系列残差块组成，残差块分为直接映射部分和残差部分，通过残差部分的跨层连接把低层特征传到高层构造残差映射，可在一定程度上保护信息的完整性。RPN给共享特征图上的每个位置生成一定数量的先验框(anchor)，对于生成的anchor，训练RPN网络要完成两项任务：判断其是否包含目标，以及对属于前景的目标进行坐标修正。

Mask R-CNN采用ROI Align，增加了掩膜(mask)预测分支。其主要作用是使生成的候选框映射到特征图上产生固定大小的特征块，采用双线性插值方法获得坐标为浮点数的像素点图像数值，将整个特征聚集过程转化为一个连续的操作，这样能提高检测的精度，也使分割更为准确。其中，mask损失采用平均交叉熵损失，对于每一个候选框，如果检测到其属于哪一个类别，就只使用该类别的交叉熵损失作为loss进行训练。

1.2.2 目标检测网络迁移学习

迁移学习是指将某个领域或任务上学习到的知识或模式应用到不同但相关领域的问题中，即通过迁移源域的信息来提高对目标域的学习能力。其核心问题是找到两个领域的相似性，若源域和目标域的相似性太少，容易产生负迁移。根据对何种内容进行迁移，可分为4种基本类型，分别是基于样本、基于特征、基于关系以及基于模型的迁移。在图像处理方面，迁移学习常用于图像识别，目前有许多已在大型数据集中预先训练好的网络模型，可以利用基于模型的迁移学习方法将部分模型结构以及参数迁移到目标域中进行再次训练和预测。此类方法大都与深度神经网络进行结合，针对现有的一些神经网络结构进行修改，在网络中加入领域适配层，然后进行联合训练。比如文献[24]提出一种基于Faster R-CNN网络的迁移，实现了对自然电力塔图像数据的检测到遥感影像的电力塔检测的迁移；文献[25]将迁移学习引入到地基云图自动识别深度神经网络中的学习过程中，采用AlexNet经典网络、ImageNet样本库进行预训练，实现了对10类地基云图的分类。

受上述迁移学习方法和应用的启发，将大型数据集上训练好的模型，分别迁移到本文的遥感影像机场、飞机检测任务的Mask R-CNN网络中。通过迁移训练和模型微调的方式得到最终的模型权重，以得到机场和飞机检测结果。采用大型数据集训练的网络作为预训练模型时，保留主干特征提取网络和RPN网络两部分的权重，训练时进行权重的调整，全连接层和分类器各层权重进行重新初始化和训练，得到迁移学习后的模型。

2 实验与结果分析

2.1 数据和预处理

进行迁移训练时，要选择一个可靠的源域，以得到对目标域良好的训练结果。对Mask R-CNN网络来说，MS COCO数据集的检测任务是一个可靠的源域。此数据集是一个由微软标注的用于物体检测和分割的大型数据集，包括人、动物和交通工具等80类目标和超过20万的影像标注。其中，图像主要从复杂的日常场景中截取。将其目标检测任务的模型迁移到本文针对遥感影像中的机场和飞机目标检测任务中，通过微调模型实现网络的训练。

实现本文的双阶段检测目标需要机场和飞机两类训练数据集，本文采用了多个数据集的组合应用，数据集详细情况如下：①首先针对机场目标，训练数据集是从谷歌地球下载影像并进行标注，共包含200个机场，作为训练集1，训练时会进行自动的数据增强以扩充样本；②机场测试数据集为另外下载的谷歌数据，作为测试集1；③针对飞机目标的训练数据集来源于RSOD数据集，该数据集是武汉大学发布的用于遥感图像物体检测的数据集，包含飞机、操场等四类目标，其中飞机图像共446张，共包含4993架飞机。实验中仅选取部分数据：共标记图像数量为60张、含飞机数量578架，作为训练集2；④此外，针对飞机目标的测试数据包含RSOD飞机数据集中未参与训练的部分数据，作为测试集2；为了验证训练得到的模型在其他数据上的检测性能，将从谷歌地球下载的亚米级影像作为自建的测试集3。表1展示了数据集的基本情况。以上数据集的标注均采用labelme工具，并且增加标注目标的掩膜信息，标注完成后统一转换成COCO数据格式。由于对机场和飞机两种目标的检测是在不同尺度的数据上进行的，故以上数据集存在分辨率的差异：数据分辨率在8 m左右适合对机场目标进行检测，训练集1与测试集1的分辨率约为8 m；而对于飞机目标检测来说，则需要更高分辨率的数据才能得到好的检测结果，训练集2和测试集2、测试集3均为亚米级分辨率数据。

表1 训练数据集、测试数据集情况

2.2 第一阶段机场目标提取

对于第一阶段机场检测任务，首先用训练集1进行机场检测网络的迁移学习：使用COCO数据集目标检测任务的权重初始化模型，将保留主干特征提取网络和RPN部分的权重、重新初始化Classifier部分权重后的权值文件作为预训练权重，以避免从头开始训练网络，大大减少模型训练时间。本文实验环境为ubuntu18.04系统下采用pytorch1.5深度学习框架完成实验的构建，显卡为Quadro RTX8000 GPUs，cuda10.1。使用初始学习率为0.000 2进行训练，训练过程中动态调整学习率。经过实验，在本文的实验条件下网络完成一轮训练的时间在25 s左右，训练完成后得到的权值文件在350 MB左右，微调过程在300轮左右迭代即可得到较好的效果，得到调整后的权值文件。完成训练后使用未参与训练的测试集1进行测试，部分测试集数据进行测试结果如图3所示，第一行为原始图像，第二行为检测结果，包含矩形框表示的机场位置，彩色部分表示机场的分割掩膜，以及左上角百分数表示识别正确的置信度。另外，对具有形状复杂、包含多条不同跑道复杂结构特征的机场影像进行测试的结果如图4所示。

图3 Mask R-CNN网络机场检测结果

影像测试的结果包含以矩形框表示的机场位置信息、机场的掩膜信息，以及所检测到的区域属于机场目标的置信度(Score)。

本部分IoU设置为0.50，即IoU值大于0.5时选框被认为是前景。其中，误检也被称为虚警，一般通过虚警率来衡量神经网络将非目标检测为目标的比例。在测试过程中，取不同置信度阈值(score_thresh)，结果会自动筛选置信度高于阈值的目标。

表2 Mask R-CNN网络检测机场结果统计

由表2可知，在保证100%召回率的前提下，阈值在0.7时有93.3%的检测精度，故影像测试时选择0.7作为阈值。以上结果表明，在机场检测方面，该算法能准确检测到机场区域，并能进一步得到机场区域较为准确的分割结果，相比矩形框给出的机场位置，分割的结果可以进一步提高机场的定位精度。如图4所示的单跑道机场和图5所示的复杂跑道机场的检测结果可知，本文方法对含不同形态跑道的机场都具有优秀的检测效果。此外，对影像背景复杂、飞机目标尺寸有较大差异的机场检测中，仍然能获得较好的检测结果。

2.3 第二阶段飞机目标检测

对于第二阶段飞机目标检测任务，在完成训练数据和搭建网络的基础上，进行模型的迁移和训练。模型参数初始化同样采用官方公布的MS COCO数据集的训练权重。本部分实验在Linux系统下使用pytorch1.5深度学习框架，采用GPU训练。初始学习率为0.000 2，IoU阈值设为0.75。对训练结果测试时，分别对两个测试集进行测试来验证模型的有效性：采用测试集2对训练结果进行测试可以检验RSOD数据集的飞机检测效果；采用测试集3进行测试可以检验模型的泛化能力。测试结果中，矩形框代表飞机的位置，矩形框左上角百分数为置信度，彩色部分突出显示的是飞机掩膜信息，不同色彩代表不同飞机个体，不区分飞机类型。部分测试结果如图5、图6所示，飞机目标检测算法的评价指标与3.2节相同。

图5 测试集2经Mask R-CNN网络飞机检测结果

表3 测试集2经Mask R-CNN网络飞机检测结果统计

图6 测试集2迁移实验飞机检测结果

表4 测试集3经Mask R-CNN网络飞机检测结果统计

由表3可知，测试集2的AP值为92.22%；由表4可知，测试集3的AP值为87.93%；取两个测试集的AP均值作为第二阶段网络的平均检测精度为90.07%。

通过实验，可得出以下结论：①通过基于模型的迁移学习方法能够获得对机场和飞机目标特征的较强学习能力，从而得到较高的检测精度，证明了小样本训练数据集利用Mask R-CNN目标检测网络在大型数据集上的可迁移性；②通过迁移训练，飞机目标检测的AP值在90%以上，在检测速度上，本文算法属于二阶段检测算法，增加了一个mask分支以计算飞机掩膜，在检测速度上有一定的局限性，在本文的实验环境下，宽幅1000像素×1000像素的影像平均检测速度为0.83 s ③本文的检测结果包含目标的矩形框标注以及目标的掩膜信息，对一般目标检测任务只能得到矩形标注框来说，本文的算法对飞机位置的检测更加精确。并且在不同影像背景、不同尺寸大小的飞机检测中，仍能获得较好的检测效果。

2.4 两阶段检测综合性能评价

根据两阶段的检测精度，综合计算本文两阶段检测框架对飞机目标的检测精度。第一阶段的检测精度会间接影响飞机的检测精度，主要在于第一阶段对机场场景的正检区域中，在第二阶段分别有正检、漏检、误检3种情况，机场区域漏检会造成后续飞机目标的漏检，而机场区域误检会造成后续飞机目标的误检。那么，两阶段的综合检测精度具体情况在表5中列出。

表5 精度评价各项内容

根据表5列出的情况以及两阶段网络的测试情况，本文双阶段检测框架下飞机目标检测综合精度为91.2%，漏检率为2.2%，误检率为4.1%。

2.5方法比较

为测试本文的双阶段检测框架对飞机目标检测的提升效果，设计两组对比实验。选定覆盖南方某城市区域的3景高分二号影像数据，已知该区域只有一个机场，成像时刻其飞机数量为77架，如图8中的测试影像所示，分别进行直接检测飞机目标和利用本文提出的双阶段检测方法对比实验。对原始高分影像数据进行正射校正和影像融合，高分二号影像多光谱和全色波段融合和分辨率为0.8 m，实验在此分辨率数据上进行。表6展示了两种方法检测飞机目标的统计结果。

1)直接检测。将预处理后的每景高分二号影像直接裁剪成1 000像素×1 000像素大小的切片，3景影像一共得到2 520个固定尺寸的切片，直接送入第二阶段的飞机目标检测网络进行检测。实验结果显示，共有103个目标被认为是飞机，其中，正检TP数量为74，误检FP为29，漏检FN为3。并且在误检目标中，有24个目标是在非机场区域被误检的，而机场内部误检数量很少。由此可知造成检测精度不高的原因主要在于较高的误检率。机场区域的误检主要在于跑道线标志被误认为是飞机，而在其他区域，个别相似形状的建筑物等被误认为是飞机。此外，由于前文训练的网络具有平均每张图像耗时0.83 s的检测速率，故3景影像的所有切片完成飞机目标检测共耗时大约34.9 min。

2)双阶段检测。经预处理的影像降采样到8 m，此时影像尺寸变为原来的1/8，同样裁剪为1 000像素×1 000像素的切片，3景影像共得到48个切片，送入第一阶段网络进行机场检测。结果显示，仅在一景影像的切片中检测出机场。将其余2景影像排除，提取机场区域对应的原始0.8 m分辨率影像中的部分，裁剪为1 000像素×900像素大小的切片数量为36个，送入第二阶段网络进行飞机检测。此次共检测飞机数量出83架，其中，正检TP数量为74，误检FP为9，漏检FN为3。3景影像通过两阶段网络的检测共耗时1.2 min。图7展示了测试影像机场区域飞机目标的检测效果。

图7 测试影像及飞机检测结果

表6 两种检测方法的性能对比

由表6统计的评价指标来看，双阶段检测方法的检测数量相比直接检测时大大减少，并且虚警率降低了17.4%，从而使检测精度大大提升。另外，在检测耗时方面，直接检测时由于全部使用原始高分辨率数据，三景影像的网络检测用时超过30 min，而双阶段检测只需1.2 min。由此可以推知 在大批量遥感影像上进行飞机目标搜索时，可明显减少耗时。经过以上实验可知，本文的双阶段检测方法显著降低了对非机场区域中飞机目标的误检，提高了飞机目标的检测精度和检测效率。

3 结束语

针对高分辨率遥感影像检测机场和飞机时的效率提升问题，本文按照由粗到精的提取思路提出了一个形式简洁并有效的双阶段检测框架。针对机场与飞机两种不同尺度目标物，利用Mask-RCNN网络作为嵌入网络进行两次迁移训练，先后从影像上进行机场区域和飞机目标的检测。在检测到机场区域的前提下，可以快速筛选包含机场区域的影像，再进行影像分辨率要求更高的飞机目标检测。实验证明，通过迁移学习的模型能够对不同结构的机场进行高精度的检测，对不同形态、不同背景条件下的飞机目标也均能取得理想的检测效果；此外，通过对比实验，双阶段检测方法比直接检测的飞机检测精度提高20%以上，检测效率也获大幅提高。证明了本文通过双阶段检测框架，能够有效规避非机场区域的误检，对高分辨率遥感影像飞机目标识别这一任务的精度和下频率有显著提升作用。因此，本文构建的由粗到精检测思路及检测框架的有效性和科学性，实际应用中嵌入网络可根据目标物的特点选择其他嵌入网络完成检测工作，因此，框架具有很好的扩展性与灵活性，后续可以考虑应用到其他类似的目标检测任务中。

（原文有删减）

END

作者简介：刘思婷（1996—）女，重庆梁平人，硕士研究生，主要研究方向为遥感影像智能处理。

E-mail: 0219760@stu.lzjtu.edu.cn

基金项目：国家重点研发计划项目（2019YFB1405600）

引文格式：刘思婷，王庆栋，张力，等． 高分辨率遥感影像飞机目标的双阶段检测方法 ［Ｊ］． 测绘科学，２０２２，４７（６）：１０９１１８。