高光谱遥感影像具有光谱分辨率高和图谱合一的优势，其丰富的光谱信息可对不同地物的属性信息进行精细的检测和识别^[1-2]。目前，高光谱遥感已成为地物精细区分的重要技术手段，在资源调查、农作物分类、树种识别、矿物填图等方面都有着广泛的应用^[3]。

早期的高光谱遥感地物精细分类识别主要基于星载和航空有人机载高光谱观测平台^[3]。近十年来，随着无人机的有效载荷和续航时间的不断提高，以及轻型高光谱成像传感器的快速发展，无人机高光谱遥感已经成为一种新兴的对地观测技术，实现对星载和航空有人机载高光谱成像系统的有效补充^[4]。无人机高光谱观测平台可以同时获得高光谱分辨率(纳米级)和高空间分辨率(厘米级)的遥感影像，也称为“双高影像”^[5]。双高影像不仅可以精细表征地物光谱信息，而且包含地物丰富的空间纹理信息。同时，相比于星载和航空有人机载高光谱观测平台，无人机高光谱观测平台具有操作灵活、采集成本低、作业周期短和实时数据采集的优点。

然而，相比于星载或航空有人机载的中低分辨率高光谱遥感影像，无人机双高影像极高的空间分辨率使得地物细节大量凸显出来，同物异谱现象大量发生，地物类内方差明显增大，光谱特征统计分布更加复杂，地物光谱信息的统计可分性严重减弱^[5-8]。因此，只利用光谱信息分类的方法(例如支持向量机、随机森林等方法)在双高影像分类结果中存在严重的椒盐噪声^[5]。因此，针对无人机双高影像地物分类需要同时考虑双高影像精细的光谱属性信息和丰富的空间纹理信息。传统的空-谱融合策略引入空间信息方法主要分为两种。一种是通过级联光谱信息和手工设计的空间特征作为分类器的输入，其中空间特征包括纹理、形状和对象分割等^[9]。另一种是引入空间上下文信息的后处理方法，例如引入马尔可夫随机场^[10-11]、条件随机场^[12-13]等。然而，这些方法非常依赖专家知识的手工特征设计，其手工特征面向特定分类任务，限制了其在复杂地物分布下的模型泛化能力^[14-15]。

随着人工智能的蓬勃发展，深度学习技术因其强大的特征提取和泛化能力，被越来越多的学者应用在高光谱影像分类中。目前深度学习高光谱影像分类主要基于两种策略。一种是基于“空间块”的分类策略，该策略以标记像元为中心选取邻域的三维“空间块”作为网络的输入，输出中心像元的类别标签，例如栈式自动编码器SAE-LR^[15]、深度三维卷积网络^[16]、图卷积分类网络^[17]等。然而，该类分类方法在双高影像分类中面临两个问题。一方面，“空间块”的最优尺寸受到空间分辨率和地物分布等多种因素的影响，导致“空间块”的最优尺寸难以确定，且不同影像的最优尺寸存在差异^[6]；另一方面，“空间块”仅利用了标记像元周围局部空间信息，缺乏对长距离或全局空间信息的考虑，导致在空谱异质性极高的双高影像分类结果中出现严重的错分孤立区域现象。另一种是将全局影像作为输入的“端到端”分类策略^[6]。文献[18]首次提出快速全卷积深度网络实时分类框架FPGA实现全局空谱融合，相比于“空间块”深度学习模型，其速度和精度得到了极大的提升。然而，FPGA方法受到卷积核的限制无法捕获大范围的像素依赖关系，对于类内方差较大的地物仍会存在错分现象，尤其是用于空谱异质性极高的双高影像分类。随后，一些高光谱影像分类网络引入全局上下文信息解决地物类内方差大的问题，例如空-谱全卷积高光谱分类网络SSFCN-CRF^[19]、高效非局部全卷积网络ENL-FCN^[20]、全上下文感知网络FullyContNets^[21]等。然而，仅利用全局上下文信息模型会导致计算复杂，且对一些狭窄或者弱小地物分类时局部上下文信息同样重要。

为此，针对当前高光谱影像分类方法在双高遥感影像分类时缺乏考虑局部上下文信息的情况，本文提出一种局部-全局上下文信息自适应聚合的高精度快速双高影像分类框架，本文称为ACANet(adaptive context aggregation network)。该框架基于全卷积网络架构，分为编码器和解码器。在编码器中，为了充分提取长距离上下文信息并减少网络模型参数，设计局部到全局的长距离上下文提取方式。对于高分辨的输入特征图，采用局部上下文信息模块(local context module，LCM)捕获长距离上下文信息，降低计算复杂度。对于低分辨的高层次语义特征图，采用全局上下文信息模块(global context module，GCM)从局部上下文特征中进一步捕获全局上下文信息。在解码器中，自适应上下文聚合模块(adaptive aggregation module，AAM)对编码器中的局部和全局长距离上下文特征以及解码器中的上一层高级语义特征进行自适应加权聚合，实现双高影像的准确分类。综上所述，本文的创新点如下：

(1) 本文在编码器中设计一种局部到全局上下文信息感知的网络架构，实现顾及长距离上下文信息的高级语义特征提取，缓解双高影像空谱异质性造成错分孤立区域的现象。

(2) 本文在解码器设计的自适应上下文聚合模块可以自适应地关注不同的上下文信息以应对地物尺寸对分类性能的影响。

1 本文方法

本文方法(ACANet)的总体流程如图 1所示。该网络以整张高光谱影像作为输入，可以顾及全局空谱信息。在编码器中，本文使用局部到全局的长距离上下文感知模块，可以有效缓解双高影像极高空谱异质性导致的孤立区域错分现象。在解码器中，采用自适应上下文聚合模块自适应对局部上下文特征、全局上下文语义特征和上一层网络输出的高级语义特征进行通道加权融合，最终将特征图输入到Softmax分类器中，输出每个像素的分类结果。

1.1 局部上下文信息模块

局部上下文信息模块采用条带池化操作^[22]，网络结构如图 2所示，其主要利用条带池化操作来获取局部长距离上下文信息。对于输入特征图X∈R^C×H×W的第C个通道X_c∈R^H×W，其输出局部上下文特征图X_c∈R^H×W公式如下

式中, y_h∈R^H×1和y_w∈R^1×W分别表示横向条带池化和纵向条带池化输出的特征向量，其公式可以表示为

如式(2)所示，条带池化操作是对输入特征X_c的行或列中的所有特征值进行平均，因此其可以捕获每个像素长距离横向和纵向的上下文信息。式(1)中，W_1×3和W_3×1分别表示1维卷积，其分别捕获y_h和y_w邻域的特征；E_H和E_W表示对1维卷积输出的特征在横向和纵向进行扩展，使其与输入的特征图X_c尺寸一致；W_1×1和σ表示对相加融合的扩展特征y使用1×1的卷积和Sigmod函数，最后将输出每个像素的编码权重与输入特征X_c进行逐像素加权。

1.2 全局上下文信息模块

全局上下文信息模块GCM对的网络结构如图 3所示，其假设全局上下文信息受空间位置影响较小，进而将全局上下文信息转换为通道之间的依赖^[23]。GCM分为全局上下文建模、通道依赖关系转换和特征融合3部分。对于输入特征图X∈R^C×H×W, 其输出的全局上下文特征图R^C×H×W中的任意像素x_i∈R^C×1×1，其公式可以表示为

式中，i=1, 2, …, N_p(N_p表示特征图的像素个数)；表示全局上下文建模，通道全局注意力池化的权重α_j聚合所有位置特征来获得全局上下文信息，其公式可以表示为

式中，W_k表示1个1×1的卷积。

式(3)中δ(·)表示通道依赖关系转换函数，用来捕获通道间的依赖关系，其公式可以表示为

式中，W_v1表示r个1×1的卷积；LN表示层归一化；σ_ReLU表示ReLU激活函数；W_v2表示C个1×1的卷积。

式(3)中F(., .)表示特征融合聚合全局上下文特征到每个位置的特征上，具体采用逐通道相加融合的方式。

1.3 自适应上下文信息模块

针对地物精细分类所需的场景不同，其对应的局部上下文特征和全局上下文特征对分类性能提升的重要性存在差异。基于此，本文提出自适应上下文信息模块AAM，引入通道注意力机制^[24]实现表征底层细节的全局上下文特征和表征高级语义信息的全局上下文特征自适应融合。如图 4所示，该模块的输入包括3部分，分别是局部上下文特征X₁、全局上下文特征X₂和上一层输出的高级语义信息X₃。随后，针对级联后的特征X=X₁, X₂, X₃，首先通过全局平均池化操作建模全局空间信息，输出一维特征向量S∈R^1×1×C，其公式可以表示为

式中，X_c-th和S_c-th表示第C个通道的特征。为降低模型参数和提升特征提取能力，通过一个两层的神经网络捕获通道间的非线性关系映射，并且对第一层网络的特征通道进行降维。随后，该映射关系通过Sigmod函数输出每个通道的权重，其公式可以表示为

式中，；r为降维超参数；σ₁为ReLU激活函数；σ₂表示Sigmod激活函数。T为其输出每个每个通道的尺度缩放因子，将其应用在原始的输入数据中，输出自适应聚合的上下文特征，其公式可以表示为

2 试验数据与分析 2.1 试验数据

本文试验数据采用WHU-Hi无人机双高影像数据集。WHU-Hi数据集是由武汉大学RSIDEA团队发布的无人机高光谱影像分类基准数据集^[5]，其包含多个不同的典型地物分类场景。本文选取的WHU-Hi-HongHu和WHU-Hi-HanChuan场景，数据集信息如图 5所示，详细描述如下。

(1) WHU-Hi-HongHu数据。数据采集地点为湖北省洪湖市典型的复杂农业区域，采集时间为2017年11月20日16:23—17:37，数据采集期间天气阴天多云，气温约8℃，空气相对湿度约为55%。采集平台为大疆M600pro无人机搭载的Nano-Hyperspec-VNIR成像光谱仪，成像光谱仪采用17 mm焦距的镜头，飞行高度为100 m，空间分辨率为0.043 m，影像尺寸为940×475像素，在400~1000 nm波谱范围内有270个谱段。研究区土地破碎化异常严重，单个地块面积非常小，共种植了棉花、油菜、白菜、包菜等17种作物。

(2) WHU-Hi-HanChuan数据。数据采集地点为湖北省汉川市典型的城乡接合区域，采集时间为2016年6月17日17:57—18:46，数据采集期间天气晴朗无风，气温约30℃，空气相对湿度约70%。采集平台为莱卡Aibot X6无人机搭载的Nano-Hyperspec-VNIR成像光谱仪，成像光谱仪采用17 mm焦距的镜头，飞行高度为250 m，空间分辨率为0.109 m，影像尺寸为1217×303像素，在400~1000 nm波谱范围内有274个谱段。采集区域内共包含房屋、道路、农作物和水体等16类地物，其中包含草莓、豇豆、大豆、高粱等7类农作物。由于数据集采集时间在下午，太阳高度角较低，并且研究区内存在较高的建筑物和树木等，导致影像中有很多阴影覆盖区域。

2.2 参数设置

(1) 训练样本设置。如表 1所示，从每个类中随机选取50个标记像素进行模型训练，剩余的标记样本用于模型测试。训练样本占全部标注样本的比例非常小，仅为WHU-Hi-HongHu和WHU-Hi-HanChuan标注像素比例的0.28%和0.31。

(2) 模型参数设置。如表 2所示，ACANet的详细架构包括3个局部上下文信息模块、一个全局上下文信息模块和3个自适应上下文聚合模块。在模型训练中，采用随机梯度下降(SGD)方法模型参数优化，其中训练最大迭代次数、初始学习率、动量、伽马和权重衰减分别设置为：1500、0.003、0.9、0.1和0.001。

(3) 对比方法设置。本文采用4类不同形式的7种分类方法进行对比试验。第1类方法是逐像素光谱分类的支持向量机(SVM)^[25]，其采用高斯核函数，利用五折交叉验证的方式进行选择惩罚参数C和核函数的参数g。第2类方法为基于空间取块机制的深度学习方法，包括空谱注意力网络(SSAN)^[26]、空谱残差网络(SSRN)^[27]和深度残差金字塔网络(PResNet)^[28], SSAN方法输入空间块大小和主成分个数分别设置为27×27和4，SSRN和PResNet方法输入空间块大小分别设置为7×7×C和11×11×C，其中C是波段数。第3类方法是引入光谱注意力机制的全卷积高光谱分类网络(FPGA)^[18]。第4类方法为联合卷积神经网络和条件随机场的方法，包括联合卷积神经网络和马氏距离约束的条件随机场(CNNCRF)^[5]和联合空谱全卷积网络和密集条件随机场的方法(SSFCN-CRF)^[19]。其中，CNNCRF方法输入空间块大小设置为9×9×C。最后，本文使用的定量精度评价指标包括总体精度(OA)、平均精度(AA)、Kappa系数和每类地物的生产者精度。

2.3 试验结果分析

(1) WHU-Hi-HongHu试验结果。数据集的分类结果如图 6所示，定量评价指标如表 3所示。由于不同地物之间光谱相似和双高影像严重的空谱异质性，SVM的分类结果中出现大量错分的椒盐噪声现象。相比于SVM，基于深度学习的高光谱分类方法在视觉性能和定量评估方面都有很大的提升。基于空间取块机制的SSAN、SSRN和PresNet 3种方法的OA相比于SVM分别提高了11.42%、18.52%和23.99%，但是空间取块机制只能利用局部空间信息，该类方法仍然存在严重的错分孤立区域。CNNCRF和SSFCN-CRF方法引入了空间上下文信息以极大地缓解分类图中的孤立区域，其OA相比SVM分别提升23.59%和22.79%。然而，由于该类方法条件随机场的一元势能存在误差，分类结果中仍存在少量误分类区域。FPGA方法同时顾及全局光谱和空间信息，取得了优异的视觉表现和定量评价指标，其OA相比SVM提升28.29%。但是，该类方法针对一些异质性较大的区域仍会存在一定错分。相比于FPGA, 本文提出的ACANet方法充分利用局部和全局长距离上下文依赖信息改善异质性较大区域的地物错分，取得了最优的视觉表现和定量评价指标。

(2) WHU-Hi-HanChuan试验结果。数据集的分类结果如图 7所示，定量评价指标见表 4。与WHU-Hi-HongHu数据集相似，SVM的分类图中存在大量错分的椒盐噪声现象，同时由于阴影覆盖区域的辐射亮度较低，导致SVM的分类方法在该区域存在严重的错分。与SVM方法相比，SSAN、SSRN和PResNet方法的OA分别提升11.16%、10.54%和17.72%。但是，这类方法的分类图仍存在较为严重的错分，尤其在阴影覆盖区域。CNNCRF和SSFCN-CRF方法的OA相比于SVM分别提升18.24%和15.05%，但是，由于条件随机场的一元势能的不准确，CNNCRF分类结果中，豇豆阴影覆盖区域仍然表现出较差的分类性能，SSFCN-CRF分类图也包含较多孤立的错分区域。FPGA方法的OA相比于SVM提升22.26%，但对阴影覆盖区域的水和豇豆同样存在错误分类。ACANet方法在WHU-Hi-HanChuan数据集中取得了最好的分类性能，分类图中错分的孤立区域得到极大缓解。

2.4 试验参数分析

(1) 训练样本敏感性分析。图 8显示了不同训练样本数量下(25、50、100、150、200、250、300)ACANet和对比方法在WHU-Hi数据集的总体精度。由图 8可以明显看出，ACANet在所有训练样本量下都取得了最高分类精度，并且在训练样本数量较少时(25, 50)表现出更大的优势。

(2) ACANet的消融试验。表 5显示了ACANet在WHU-Hi数据集上使用每类50个训练样本的消融试验结果。由表 5可知，在Baseline基础上添加LCM和GCM模块都会显著提升分类精度，由此可以证明长距离上下文信息对空谱异质性高的双高影像分类是有效的。在此基础上，LCM和GCM模块两者联合使用对分类精度有进一步增益，并且使用AAM进行上下文信息自适应聚合可以再次实现精度提升。因此，本文所提出的局部和全局上下文自适应聚合框架在双高影像分类具有优异的性能。

(3) 模型计算时间复杂度分析。不同分类方法在WHU-Hi数据集上的训练和测试时间见表 6。SVM方法使用的计算机配置：3.0 GHz英特尔至强E3-1220v5CPU，运行环境为Matlab2017。SAE-LR方法使用的计算机配置为：Intel Xeon E5-2690v4 CPU，运行环境为TensorFlow1.7。SSAN、SSRN、CNNCRF、SSFCN-CRF、FPGA和ACANet方法使用的计算机配置：Intel Xeon E5-2690v4 CPU，NVIDIA TeslaP100 GPU，SSAN、SSRN、CNNCRF、SSFCN-CRF的运行环境为TensorFlow1.9，FPGA和ACANet方法的运行环境为Pytorch 1.7，CNNCRF方法中CRF模型后处理基于Matlab2017。SVM方法采用逐像素预测并且未采用GPU运算加速，因此模型推理时间较长。SSAN、SSRN、PresNet 3种方法均采用空间取块方式预测，因此模型推理时间较为相近。CNNCRF模型和SSFCN-CRF模型均需CRF模型进行后处理，因此相比于基准网络CNN和SSFCN运算时间显著增加，而SSFCN采用全卷积网络将整张影像作为模型的输入，相比于CNN方法运算时间显著降低。FPGA和ACANet采用全卷积网络的形式极大提升了模型的推理速度，其中FPGA模型更为简单，推理速度更快。

3 结论

针对双高影像极高空谱异质性的特点和当前深度学习方法在长距离上下文信息方面利用的不足，本文提出一种局部-全局上下文信息自适应聚合的快速双高影像分类框架ACANet。ACANet采用编码解码的全卷积网络架构，可以同时顾及影像的全局空谱信息。在编码器中，ACANet模仿人类视觉感知机理，构建局部到全局的长距离上下文感知模块，通过引入长距离上下文可以有效缓解双高空谱异质性造成的错分孤立现象；在解码器中，ACANet采用自适应上下文信息模块实现针对不同应用场景的长距离上下文信息自适应聚合。本文方法在WHU-Hi无人机双高数据集地物精细分类中取得了优异的性能，可以很好地缓解双高影像空谱异质性对分类的影响。