遥感对地观测的核心任务是获取各类地理空间信息[1-2]。地理空间信息可划分为几何信息和属性信息两部分，两者以不同的方式和侧重点刻画地面物体的本质属性和外在特性。为了全面地认识和理解观测对象，必须充分挖掘这两类信息的内涵。但是，回顾半个多世纪遥感对地观测的发展历程，就会发现在地理空间信息获取方面存在着一个极不平衡的现象，即人们对几何信息获取的兴趣、投入乃至最终达成的能力和水平，都远远高于属性信息方面。造成这一现象的原因有多个方面，最主要的原因是长期缺乏适用于地物属性信息精确识别的遥感探测及其处理能力。
高光谱遥感技术已经并将继续有效地改变上述不平衡状况。20世纪80年代，高光谱遥感刚刚面世时，不少人将其看作是先前全色-多光谱遥感的简单升级。实际上，高光谱影像所带来的数据量激增隐含着一个本质的跃升，即遥感成像首次在描述地物几何形状的同时，也给出了其近似连续的电磁波谱特性曲线，从而获得了观测对象沿光谱维度的精确描述，这就是人们常说的“图谱合一”。如此一来，高光谱遥感既能充分利用这两类数据的各自信息内涵，又可以灵活地融合二者信息来探测和辨识目标，从而大大增加了地物识别的类型和准确率。进一步地，还可以把实验室建立的各种光谱处理模型运用到复杂的光谱分析环节中，进而提升定量化和智能化分析水平。
分类技术是人们达到对地物属性识别的基本途径。广义来看，分类是人类最基本的思维活动之一，也是人类一切认知活动的基础。人类在感知和获取外部世界信息的同时便开始了分类，在不断获取信息并归纳知识的过程中，人类思维从最初的简单分类逐渐演化成复杂的层次化的分类体系，并随着认知过程的发展在广度和深度上不断延伸拓展。在认知客观地理世界的过程中，对不同地貌、地物及自然和人文要素的区分，能够帮助我们清晰地认知地理对象的分布规律及地理现象的演变过程。在不同观测、研究和分析尺度下，确定不同的地物类别体系和标准是达成对客观地理世界全面认知的必要途径。
高光谱地物要素的分类识别，结合现行的地形要素数据规范和高光谱遥感的探测能力综合考虑。在现行地形要素分类体系下，所有地形要素划分为8大类，包括测量控制点、居民地、工农业和社会文化设施、交通运输设施、水系及其附属建筑、植被、地貌与土质和境界[3]。将这一分类体系与高光谱影像的识别能力相结合，可以归纳为4大典型的待识别要素类别，每一大类均包含众多的子类[1](表 1)。地物要素分类识别对于高光谱影像的光谱分辨率有着不同的要求，但当光谱分辨率达到一定要求后，处理与分析手段决定了地物要素识别的效果。本文主要结合课题组研究，梳理近年来地物光谱探测中的影像分析和智能化方向的进展，并展望地物光谱探测的发展趋势，为下一步研究拓展思路。
| 识别要素大类 | 所含子类 |
| 植被 | 乔木林、灌木、竹林、经济林、经济作物地、农作物等 |
| 土质 | 土壤、岩石、矿山、沙滩、湿地等 |
| 水域 | 河流、湖泊、水库、海域、贮水池、冰川等 |
| 人工地物 | 居民地、工农业基础设施、社会文化设施、交通线等 |
1 地物光谱探测中的影像分析
在机器学习尤其是深度学习技术大规模应用于高光谱遥感之前，针对高光谱影像的处理分析技术一直是高光谱地物探测的核心任务之一，高光谱影像分析技术的水平将直接决定地物属性信息的提取和识别能力。高光谱影像分析的目的是将探测需求与地物特性相结合，从海量和复杂的高光谱数据中提取精确的地物要素属性信息。在当前深度学习研究的热潮和大背景下，高光谱影像分析中面临的高维非线性、小样本等问题的解决仍然具有重要的现实意义。面向地物要素属性信息提取的高光谱影像分析包括影像辐射与几何校正、光谱特性分析、特征选择与提取、光谱匹配、模式分类与匹配、混合像元分解及分类后处理等环节。下面重点分析特征选择、特征提取、影像分类和后处理方法。
1.1 特征选择高光谱影像特征选择的原理是根据某些准则从高光谱影像的原始波段中选取若干信息量大、相关性小、具有良好分类和识别能力的特征子集以实现维数约减的目的。相比于特征提取，特征选择从原始数据集中选择现有波段，有效地保留了原始影像的物理特性。对于给定的原始高光谱数据集，特征选择采用搜索策略生成一定数量的特征子集，随后采用评价准则函数评价特征子集的好坏，经过搜索与迭代，最终得到最优特征子集。特征选择涉及诸多技术细节，但子集评价标准和子集搜索策略是特征选择中的两个关键环节。
1.1.1 子集评价标准在特征选择的过程中，通过确定的子集搜索策略选择出特征子集后，需要评价准则函数对候选特征子集进行评价，并作为下一步搜索的参考。由于特征选择的目标是从原始特征数据中选取信息量大、波段相关性小、类间可分性强的特征子集，因此常用的评价准则主要有基于信息量、特征相关性和类间可分性的评价准则。基于信息量的评价准则要求所选特征子集具有较大的信息容量，常用的基于信息量的评价指标有信息熵、信息散度、互信息等。基于特征相关性的评价准则旨在选取特征相关性最弱的特征子集，以减少特征子集中的信息冗余，常用的特征相关性评价指标有光谱角、光谱信息散度等。高光谱影像特征选择产生的波段子集一般用于后续的高光谱影像地物分类，基于类间可分性的评价准则要求选择的特征子集有利于区分不同的地物类别，通常采用距离来度量类间可分性，常用的度量类间可分性的评价指标有欧氏距离、Bhattacharyya距离和JM距离等。由于高光谱影像的高维非线性结构，原始光谱空间结构非常复杂，因此在特征选择的过程中可以综合利用多个评价标准，从多个角度来评价特征子集的好坏，从而选取更有利于分类的波段子集。
1.1.2 子集搜索策略子集搜索策略的目标是从大量原始波段中选择出符合评价标准的波段子集，搜索策略决定了寻找最优或次优解的最佳方式。按照生成特征子集方式的不同，子集搜索策略主要分为增量搜索策略、更新搜索策略和消除搜索策略。增量搜索策略以空集作为初始特征集合，依次向当前的特征子集中添加一个或多个特征，并评价特征子集的性能，直到特征子集包含所需数量的特征为止。更新搜索策略以包含所需特征数量的若干特征子集作为初始解，在搜索过程中迭代地进行特征子集的评价和特征子集的更新，最后得到最优特征子集[4]。与增量搜索策略相反，消除搜索策略以高光谱影像的所有特征作为初始特征集合，并在每次迭代中从当前的特征子集中删除一个或多个特征，然后评价特征子集的性能，直到特征子集包含所需数量的特征为止[5]。近年来，一些新颖的学习范式应用于特征选择任务，强化学习[6]是其中的代表之一。强化学习的两个关键环节是试错搜索和延迟奖励，该类方法将子集搜索看作一个序列决策过程，并构建相应的评估模型，通过考虑评估模型和重复搜索的惩罚来定义新的奖励函数，最后根据累积的奖励值选取有效的波段子集。
1.2 特征提取与特征选择不同，特征提取侧重于对原始高光谱影像进行特征变换，以使变换后的特征更好地区分不同的地物要素[7]。光谱特征提取是将原始光谱向量按照某种先验准则投影至特征空间，并使投影后的特征在该准则下达到最优。在特征提取方法中，知识引导的特征提取基于对光谱特征的理解，对相关波段进行数学运算以获取深层次的信息，然而专家知识往往很难得到，因此发展了诸多基于统计方法的特征提取算法，其关键在于如何构建合适的变换矩阵。虽然在光谱维度上进行特征提取能够提升分类精度，但高光谱影像中存在“同物异谱”现象，因此仅仅依靠光谱特征进行分类具有一定的局限性[8]，引入空间信息可以得到更加准确的地物要素分类图。按照空间信息利用的方式，空间特征提取主要分为形状结构特征提取、纹理特征提取和基于超像素分割的特征提取。
1.2.1 形状结构特征提取高光谱影像形状结构特征的提取主要基于形态学运算，最具代表性的方法为形态学属性剖面，即利用形态学属性滤波器提取图像的属性结构信息，通过设置不同的参数和属性来得到多种属性滤波器，对提取的多重属性信息进行叠加从而得到图像的多重属性特征[9]。形态学属性剖面算法利用属性细化运算和粗化运算进行特征提取，对于灰度图像f，形态学属性剖面对影像中每个连通分量的属性A进行滤波操作。对于连通分量Ci，如果其属性满足A(Ci)>λ，该区域保持不变；如果不满足，连通区域Ci就被并入邻近的灰度值相近的区域。对于细化操作，将其归入灰度值较低的邻近区域；对于粗化操作，则将其归入灰度值较高的邻近区域。对于给定的有序阈值{λ1, λ2, …, λn}，通过一系列的细化操作和粗化操作，得到灰度影像的属性剖面。属性剖面既包括与区域相关的属性，如面积、对角线、内接距等，也包括与灰度变化有关的属性，如灰度均值、熵、标准差等，不同的属性信息和阈值参数叠加综合构成影像的多重形状结构特征。对于高光谱影像，扩展多属性剖面在降维空间中将多个属性串联成一个向量，从而提升高光谱影像空间光谱特征的提取能力[10]。
1.2.2 纹理特征提取纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的排列组织属性。在纹理特征提取方面，一般思路是先对原始高光谱影像进行特征选择与变换，然后采用二维的纹理特征提取方法对选择或变换后的前几个分量进行纹理特征提取，并利用分类器得到最后的分类结果。Gabor特征是最常用的纹理特征描述方法，针对高光谱图像的三维结构，三维Gabor变换被用于提取高光谱影像的空谱特征。局部二值模式特征是一种用来描述图像局部纹理特征的算子，通过计算中心像素与其邻域像素的灰度差来描述图像块的空间纹理结构，具有旋转不变性和灰度不变性的优点，也被广泛应用于图像分类和目标识别领域[11]。
1.2.3 基于超像素分割的特征提取超像素分割主要采用过分割的方式，根据像元之间特征的相似程度，将像元分组，划分为多个同质区域从而得到超像元，每一个超像元内部的像素被认为是具有相同属性的物质，可以使用超像元来表示高光谱图像的局部空间信息[12]。
上述特征提取方法经历了从光谱维度至空间维度再到三维空谱维度的发展历程，它们在一定程度上提高了高光谱影像地物分类的精度。但使用单一类型的特征无法全面地反映不同地物的特性，因此多特征组合策略成为提升高光谱影像地物分类精度的有效手段。与此同时，近年来研究人员也尝试从其他角度进行高光谱影像特征提取，这也体现了高光谱影像分析中多学科交叉的特点。例如借鉴视频分析中的慢特征概念，考虑到变化缓慢的特征对于分类任务更重要，因此可以提取高光谱影像中的慢特征来提升分类识别精度[13]。
1.3 分类方法特征工程方法从原始高光谱影像中提取有利于地物要素识别的特征，模式分类方法通过构造分类器将特征映射至类别空间。按照分类过程中标记样本的使用情况，高光谱地物要素分类可分为监督分类、半监督分类和无监督分类。下面重点分析监督分类方法和半监督分类方法。
1.3.1 监督分类方法在高光谱影像地物要素分类中应用较为广泛且具有代表性的监督分类器主要有支持向量机、稀疏表达分类器、随机森林和极限学习机，这些分类器得到了研究人员的广泛关注。支持向量机通过引入核方法和结构风险最小化理论，能够根据有限的样本信息在学习能力和模型复杂性之间寻求平衡，其核心是把输入空间的样本点映射至高维特征空间，然后在高维空间找到一个能将这些点分开的最优分类超平面。稀疏表达分类器基于稀疏表示理论，对于给定的字典，每个信号都可以利用字典中的少量基元线性表达。随机森林模型采用集成学习的思想，利用多颗“弱”决策树模型构建一种对样本进行训练并预测的“强”分类器。由于随机森林分类器不假定输入数据具有任何潜在的概率分布，也广泛应用于高光谱地物要素分类任务中。极限学习机是一个只有隐藏层和一个线性输出层的神经网络，随机分配输入层和隐藏层之间的权重，并使用最小二乘法计算输出层的权重。极限学习机不仅具有较高的计算效率，而且可以提供与支持向量机类似甚至更好的分类精度。
传统的以像元为基元的高光谱影像分类方法容易受到同质区域内“类别噪声”的影像，面向对象的影像分类技术以同质区域内的对象作为基元进行分类，其核心思想是根据地物同质性规则对高光谱影像的像元进行区域合并，形成同质性区域；影像对象中不仅包含像元的光谱特征信息，同时还包含形状、纹理及对象间的拓扑关系等信息，利用这些信息来构建对象。影像分割是面向对象的高光谱影像分类方法的关键，可以利用高斯混合模型、树形局部最优化和均值漂移法的思路对遥感影像进行分割[2]。
上述分类器往往需要尽可能充足的标记样本来保证其分类性能，在高光谱地物要素分类中，往往存在标记样本稀疏的问题。为此，研究人员引入半监督分类方法以更好地解决小样本分类问题。在深度学习快速发展之前，半监督学习一度成为高光谱影像地物要素识别的研究热点。
1.3.2 半监督分类方法半监督分类方法研究如何同时利用有限的标记样本和大量的未标记样本改进学习性能从而提升地物分类精度。高光谱影像地物分类中常用的半监督学习方法主要有半监督支持向量机、基于图的半监督学习、协同训练及主动学习方法等。
直推式支持向量机是一种最常见的半监督SVM方法，主要利用聚类假设的思想，使决策边界尽最大可能位于数据的稀疏区域，利用最大间隔将不同类别的数据分割开。基于图的半监督学习是基于流形假设，根据样本之间的几何结构构建图，用图的结点来表示样本，利用图上的邻接关系将类标签从有标签样本向无标签样本传播。传统分类方法中标记样本都是随机选取，如若选取不当，可能得到与数据集不相匹配的假设而导致学习性能下降。主动学习思想是根据当前小标记样本集去训练模型，预测所有未标记样本，并按照一定准则将其排序，从中选择出分类最具模糊性样本，并将以该样本像元为中心的影像块返回给用户，用户依据影像块内容给予目标像素正确的类别标记，再将样本及其标注置入训练集重新训练新的分类器，整个过程循环多次，直至分类器的某种指标达到预设值。
近年来，随着机器学习理论快速发展，研究人员通过借鉴最新的机器学习成果来解决高光谱影像的小样本分类问题。例如，受目标跟踪任务中(tracking-learning-detection，TLD)框架的启发，P-N学习被用于高光谱影像分类任务的协同训练，该方法仅需要少量样本就能获得较高的分类精度[14]。半监督学习方法能够一定程度上缓解分类任务对于标记样本的依赖，目前国内外研究人员设计了很多半监督学习方法，但如何有效地进行半监督学习仍然是一项极具挑战性的任务。
1.4 分类后处理方法利用监督分类器或半监督分类器得到的高光谱影像分类结果中，往往存在类别噪声点，这不利于专题图的制作和进一步的应用分析。因此有必要对这些类别噪声点进行去除。按照处理方式的不同，分类后处理方法可以划分为基于邻域信息的后处理方法和基于空间信息的后处理方法。
1.4.1 基于邻域信息的后处理方法基于邻域信息的后处理方法主要利用局部邻域信息来改善分类结果，常用的方法有主要分析法、次要分析法、聚类处理、过滤处理和类别筛选等。主要分析法是在一定邻域范围内，用占主要地位的像元类别代替中心像元的类别。而次要分析法则是将占次要地位的像元的类别替换为中心像元的类别。初始的高光谱影像分类结果中往往缺少空间连续性，因此可以使用形态学滤波的方法来断开细小的连接和填充细小的空洞，同时也可以采用过滤处理来解决高光谱初始分类图像中较为常见的孤岛问题。类别筛选法则通过分析邻域像元来进行处理，如果一个像元与周围的像元同组则保留该像元类别，否则将该像元归为未分类的像元。需要指出的是，上述基于邻域信息的分类后处理方法均未考虑类别边界模糊问题。针对类别边界模糊问题，可以采用双边滤波或引导滤波的方法对初始分类结果进行后处理，以达到滤除分类噪声，同时保持边缘的目的。
1.4.2 基于空间信息的后处理方法基于空间信息的后处理方法利用空间信息对分类结果进行补偿与纠错，区别于基于邻域信息的后处理方法，其难点在于如何有效、合理地利用空间信息对粗分类结果进行精准化处理。应用于高光谱图像的空间信息后处理方法主要有以下两种思路：第一种是以马尔科夫随机场(Markov random field，MRF)为代表的随机场模型，SVM-MRF是该类方法的代表，首先利用概率支持向量机获取初始的高光谱影像分类结果，然后利用MRF对分类结果进行规则化。第二种是以二叉树为代表的图分割法，首先基于初始的分类结果构建二叉树，再利用空谱相关性对该树进行剪枝操作，从而达到优化分类结果的目的。
2 高光谱地物探测的智能化方向近十年来，以深度学习为代表的智能化处理方法凭借其强大的特征提取能力，在自然语言处理、计算机视觉、遥感影像分析等领域引起广泛关注。对于高光谱地物要素识别而言，深层神经网络模型能够直接从高光谱数据立方体中学习到深层次的判别信息，可以有效地表达高光谱影像的高维非线性结构，从而在地物要素智能化识别领域展现出独特的优势和潜力。针对高光谱影像“图谱合一”的特性，研究人员设计了多种先进的深度学习模型。网络模型主要有光谱维度的序列模型、空间维度的二维模型及空谱维度的三维模型，这些模型从不同视角来提取高光谱影像的特征；在网络结构上，通过引入残差学习、多尺度特征、注意力机制等结构，来保证模型能够学习到更具判别能力的深层特征，从而提升模型的分类精度。深层神经网络模型在高光谱影像地物探测领域正处于快速发展阶段，这些网络模型以不同的方式刻画了高光谱影像结构，逐渐发展出更加适合高光谱影像的网络结构，网络结构的发展脉络如图 1所示。目前，利用深度学习模型进行高光谱影像地物要素识别主要依赖于设计有效的深层网络结构，从而提取深层次的判别特征进行地物要素的识别。
|
| 图 1 深层神经网络模型在高光谱影像地物探测领域的发展脉络 Fig. 1 Chorogram of deep neural networks in hyperspectral ground object recognition |
为了解决高光影像地物探测中标签样本不足的现实问题，学习范式逐渐由“端到端”的监督学习向半监督学习和自监督学习方向发展。学习系统中的学习范式主要有监督学习、半监督学习和自监督学习，学习单元包括高光谱影像光谱向量、影像图斑及全局影像，每种学习范式使用不同的学习单元进行处理，学习范式和处理单元的关系如图 2所示。本节主要围绕监督分类、半监督分类、自监督分类和最新的机器学习策略等方面进行梳理总结，并分析不同学习范式的优缺点。
|
| 图 2 学习范式和处理单元关系 Fig. 2 The relationship between learning paradigm and processing unit |
2.1 像素级监督学习方法
高光谱影像包含丰富的光谱信息，像素级监督学习方法利用神经网络结构提取深层次的光谱特征来进行地物分类。作为一种序列建模模型，循环神经网络通过在前馈神经网络中增加反馈连接来产生对过去数据的记忆状态，从而建立不同时序数据间的依赖关系，通常采用随时间反向传播算法来进行模型的训练。循环神经网络(recurrent neural networks, RNN)用于高光谱影像分类，最直接方式就是将每个像素对应的光谱向量作为序列输入，利用RNN提取其中的深度光谱特征进行地物分类[15]。卷积神经网络主要由卷积层、池化层和全连接层组成，通过这些层的叠加构造很深的网络结构，并通过反向传播算法来进行模型的优化。可以采用一维卷积神经网络自主地从原始高光谱影像中提取深层次的光谱特征，通过网络堆叠的方式提升光谱特征的感受野，从而实现高光谱影像地物分类。利用神经网络进行像素级的高光谱影像分类主要是提取深层次的光谱序列特征，但是由于高光谱影像中光谱“指纹”特征的不确定性，仅仅使用光谱信息提取的特征判别能力不足，综合利用高光谱影像中的空间和光谱信息进行联合特征学习可以有效地提升特征的判别能力。
2.2 图斑级监督学习方法高光谱影像图斑级学习方法将像素周围局部区域作为处理单元，然后结合类别标记信息进行监督分类，从而综合利用高光谱影像的光谱和局部空间信息，其学习结构如图 3所示。目前使用的神经网络结构主要有卷积神经网络(convolutional neural networks, CNN)、RNN和Transformer结构等。
|
| 图 3 图斑级监督学习结构 Fig. 3 Patch-level supervised learning structure |
2.2.1 CNN
按照CNN中卷积维度的不同，可以将基于卷积神经网络的高光谱影像图斑级分类方法分为基于空间特征的CNN结构和基于空-谱特征的CNN结构。基于空间特征的CNN结构首先利用数据降维的方法沿着光谱维度对高光谱遥感图像进行降维，然后采用2D-CNN进行空间特征提取；基于空-谱特征CNN结构主要有两种模式，第一种是采用双流网络结构分别提取空间特征和光谱特征，然后将空间特征和光谱特征结合起来完成分类任务，第二种模式是直接采用3D-CNN同时提取空间特征和光谱特征，这种空-谱特征联合分类方法能够较好地保留高光谱影像的空间和光谱特征[16]。在利用CNN进行高光谱影像分类时，也利用一些网络结构策略来构造深层的网络，主要有残差网络结构、稠密网络结构[17]等。CNN模型凭借其强大的局部特征提取能力，以及残差结构和稠密结构的加入，成为了高光谱影像分析的主流网络结构。
2.2.2 RNN为了同时使用高光谱影像中的空间和序列光谱信息进行图斑级地物分类，可以采用双流网络分支网络架构，使用长短时记忆网络(LSTM)提取序列光谱特征，利用CNN提取局部空间特征，并采用共同的损失函数来进行模型的训练[18]。循环神经网络的优势在于提取序列化的特征，在利用RNN进行高光谱影像分类时，主要存在两个方面的问题，一是计算效率问题，由于RNN的序列计算结构，存在计算效率低下的问题；二是不能处理很长序列的特征，当处理较长序列特征时，对于全局信息的保持能力不强。
2.2.3 Transformer结构注意力机制是人类大脑固有的一种信号处理机制，通过快速从视觉信号中选择重点关注的区域，然后重点处理这些区域的细节信息，注意力机制极大地提高了人类视觉信息处理的效率与准确性。目前应用于神经网络模型的注意力机制主要有两种模式，一种是在神经网络结构中加入注意力机制模块，对提取的特征进行权重重标定，进而显示地增强特征表示能力，根据注意力机制特征增强的维度不同，可分为光谱维度、空间维度及空-谱维度的注意力机制[19]。另一种模式是使用基于自注意力机制的深层神经网络模型来进行特征学习和分类，Transformer结构能够提取序列数据的全局特征，在高光谱影像光谱特征提取方法具有很大的优势，其统一的架构能够给多源遥感数据处理带来新的机遇[20]。但是Transformer结构在局部特征提取方面还存在很大的不足，如何综合利用Transformer结构的序列建模能力和CNN的局部空间特征刻画能力还需要进一步的探讨和研究。
图斑级监督分类可以利用神经网络强大的特征提取能力从局部的高光谱影像中提取深层次的空间和光谱特征，空间和光谱信息的联合使用可以有效地提升特征的判别能力，目前该类模型成为了主流的高光谱影像分类方法。由于高光谱影像分类中标签样本数量有限，容易出现过拟合的现象，从而严重影响地物分类精度，因此，图斑级监督分类需要重点考虑网络深度和标签样本数量的适应情况。
2.3 图像级监督学习方法目前图斑级分类方法在高光谱地物分类领域占据主流地位，但它存在一些固有缺陷，即图斑的切分通常会导致较高的计算复杂度。这是因为毗邻的图斑间在光谱维度和空间维度上均含有大量的重叠区域。此外，有限的图斑尺寸限制了模型捕获信息的距离，这使得长距离的非局部信息很难被捕获，而通常大范围的信息关联更有助于地物分类。以全局高光谱影像为输入并逐像素进行分类的方法可以称之为图像级分类方法，它保留了完整的空-谱信息从而为长距离的信息捕获提供了可能，同时降低了计算冗余，能够一定程度上避免图斑级分类方法存在的缺陷，二者的分类模式区别如图 4所示。
|
| 图 4 两种不同的分类模式 Fig. 4 Two different classification modes |
现有的图像级分类方法大多基于全卷积神经网络框架，该框架通过端到端的编码器-解码器结构来最大限度地扩展空间维度的感知范围，并通过处理全幅影像而实现高效的推理[21]。然而，全卷积神经网络架构中存在感受野受限、局部与整体关联性较差等局限性，这限制了非局部信息的有效建模；同时下采样会带来信息和空间关系的丢失，从而导致分类图边界模糊和过度平滑等问题。由于图像级分类是以影像作为处理单元进行分类，在提取全局性特征的同时会对硬件造成很大压力(如显存、内存等)，如何平衡大幅影像输入与有限算力之间的矛盾也是图像级分类方法接下来研究中亟待解决的问题。
2.4 半监督学习方法高光谱影像地物分类中通常只有少量的标签样本，但同时存在大量的无标签样本。半监督分类方法综合使用无标签样本和有标签样本进行联合学习，从而学习到更加稳健的判别性特征，如图 5所示。
|
| 图 5 半监督分类 Fig. 5 Semi-supervised classification |
生成对抗网络(generative adversarial networks, GAN)是基于可微生成器网络的一种生成式建模方法，由生成器和判别器两部分构组成，其中生成器将低维随机噪声映射为与真实样本数据同分布的数据，判别器用于判别输入样本是真实样本还是生成样本。目前，利用GAN框架进行高光谱影像分类的模式主要是利用生成器生成伪样本，然后利用少量标记样本和伪样本送入判别器，判别器不仅判别出样本的真伪，而且可以输出样本的类别[22]。在利用GAN进行高光谱影像的半监督分类时，其主要难点在于生成器所产生样本的逼真度，由于遥感影像覆盖场景的复杂性，以及高光谱影像的三维立体结构，在利用GAN生成伪样本时存在较大的困难。
随着深度学习在非欧空间的不断探索，图神经网络(graph neural networks, GNN)备受关注，图神经网络通过聚合目标节点与其邻居节点的特征表示，对目标节点的特征进行建模。基于GNN的高光谱影像分类方法将高光谱影像的每一个像素看作图的节点，通过邻接矩阵表达像素点之间的依赖关系，将高光谱影像构造成图结构，进而利用GNN对图的节点进行分类，最终得到分类图。目前用于高光谱影像分类的主流GNN为图卷积网络(graph convolutional networks, GCN)，基于频谱空间图卷积网络的半监督学习框架同时考虑了邻接节点的特征和空间域中相邻像素的特征，充分利用了影像的空间信息和光谱信息[23]。GNN应用于高光谱影像分类具备两个方面的优势[24]，一方面，GNN在处理关系数据方面具有独特优势，能够充分表达高光谱影像中不同样本之间的依赖关系，从而达到充分利用样本的目的。其次，与CNN在影像上采用滑动窗口进行卷积的方式不同，GNN在影像构造的拓扑图上进行运算，由于影像构图的过程突破了影像空间位置的限制，因此GNN能捕捉到高光谱影像中像素点的全局依赖关系，有利于进一步提高分类精度。
2.5 自监督学习方法自监督特征学习的关键是如何利用数据的固有属性代替人工标注的标签来构造自监督损失函数，即如何不依赖任何人工标记信息训练模型以学习到有利于后续任务的特征表达，主要分为生成式和对比式两大类，基于自监督学习的高光谱影像分类方法如图 6所示。
|
| 图 6 自监督学习方法模型 Fig. 6 Self-supervised learning classification methods |
对比式自监督学习的核心是比对图像增强后的不同样本，如果两个样本来自同一视图，那么将这一对样本作为正样本，如果两个样本来自不同的视图，则将其标记为负样本。对比学习将样本转换为高维特征向量，在该高维特征空间中，同一类别的样本相互聚集，不同类别的样本相互分离。高光谱影像中存在天然的多视图数据，高光谱影像对比学习架构首先将高光谱影像按照光谱波段分为两组，然后在每组中进行PCA(principal component analysis)特征提取作为两个视图，并进行视图增强操作，利用改进的ResNet 50作为骨干网络进行特征学习，对比损失函数使来自相同视图的样本在特征空间中相互靠近，来自不同视图的样本互相分离，从而将高光谱影像局部影像转换为高维的特征表示[25]。目前，基于对比学习的自监督学习在遥感影像处理中具有很大的潜力，在遥感影像的变化检测、数据融合等领域进行了初步的探索[26]。
生成式自监督学习的核心是对人工破坏后的数据进行重建，如果模型能够将掩膜后的数据重构出原始数据，说明模型已学习到刻画数据的关键特征。随着Transformer模型在图像领域的逐步应用，通过采用大的掩膜率和非对称式的编码器-解码器结构，基于生成式的自监督模型在自然图像识别中崭露头角[27]。在高光谱影像地物分类领域，由于高光谱影像和自然图像在内容和结构上存在很大的差异，如何利用遥感影像中对象级和场景级的空间信息及光谱信息进行自监督学习还需要进一步的研究。
2.6 机器学习策略方法虽然半监督学习和自监督学习有效地改善了高光谱影像分类的效果，但为了利用更少的人工标记获取更加精确的识别结果，研究人员还探索了迁移学习和元学习等机器学习策略。
2.6.1 迁移学习迁移学习是一种有效解决小样本分类问题的策略，可以理解为从源领域和源任务中学习相关的知识，用于提高在目标领域中的性能，一般来说，源领域和目标领域之间相关性越强，则迁移效果越显著。在高光谱影像地物分类中，利用迁移学习来解决样本较少的问题主要有两个模式，一种是采用“预训练+微调”的方式，在图像识别任务中，在不同数据集上存在相同模式的特征，首先使用ImageNet数据集对深层网络进行预训练，然后将训练好的网络迁移到高光谱数据集上，最后用有限的标签样本进行网络的微调，进而提升地物分类性能[28]。另一种是领域自适应策略，即源域和目标域的数据分布不同，但是两个任务相同。基于字典学习的特征级领域自适应方法通过多任务字典学习将源场景和目标场景的光谱特征投影到共享的低维嵌入空间中来对齐源场景和目标场景之间的光谱分布，进而提升目标域的地物探测能力[29]。基于迁移学习的高光谱影像地物分类方法的难点在于如何解决光谱维度的特征漂移问题及如何利用其他模态的影像辅助高光谱影像地物分类。
2.6.2 元学习元学习作为人工智能领域中的一个重要研究分支，旨在模仿人类的学习机制来使深度模型快速地适应新任务。其主要思想可以概括为：利用预收集的大量相关任务对模型进行预训练，使模型获得更强的泛化能力，从而能够在极少量标记样本的条件下快速适应新的任务。在元学习中，任务是模型进行元训练的基本单元，一个任务包含一个支撑集和一个查询集。在训练过程中，支持集中的样本标记视为已知，而查询集中的样本标记被视为未知。模型进行元训练的过程实际上就是在支撑集的监督作用下预测查询集的类别标记并计算损失的过程，从而实现模型的参数更新。现有的元学习方法可以被划分为3类：基于度量的元学习、基于模型的元学习和基于优化的元学习。在遥感领域，元学习方法已经被应用于高光谱影像分类的研究中，但仍处于初期探索阶段[30]。如何利用元学习方法进一步提高高光谱影像在小样本条件下的分类精度和稳健性，值得进一步研究和探索。
3 未来发展本文首先阐述了地物要素光谱探测的潜力与需求，然后从高光谱影像分析和智能化处理两个层面阐述了地物光谱探测的研究进展。目前地物光谱探测技术正处于飞速发展期，应用也越来越广泛。但现有的理论方法仍需要一定的人工干预来保证地物探测的效果，这无法较好地满足高光谱影像日益增长的处理需求，尤其是实际应用过程中对于智能化处理的需求。为了满足实际应用中精细化和智能化的需求，地物光谱探测逐渐呈现出以下发展趋势。
(1) 地物精准探测需求的深化研究。随着成像光谱仪和高光谱影像处理分析技术的持续发展，在微观层面对各种物体进行更加精准的探测已成为现实。例如，在精准农业方面，智慧大棚中可以利用光谱探测技术来精准识别出每株作物乃至每个叶片的生长状况，从而精准地控制喷药、浇水和施肥，这样既能够保证产量又能大幅度节约成本。类似的应用未来几年将会雨后春笋般涌现，从而大大启发遥感中地物精准探测需求的深化研究，为开发新的高光谱遥感技术系统打下基础。
(2) 交叉融合的高光谱影像分析技术。经典的高光谱影像分析方法有较好的理论基础支撑，便于融入先验地学知识，具有可解释性好的特点，但现有的分析方法获得的分类精度一般要低于以深度学习为代表的智能化探测方法。因此，如何更好地以新颖的视角认知和处理高光谱数据来提升地物探测识别的精度成为该方面研究的难点。具体可以交叉融合不同领域的方法来解决地物光谱分析中的问题，例如可以借鉴视频信号分析的思路，从序列数据的角度出发来分析高光谱影像。
(3) 多源遥感影像驱动的地物协同分类。随着遥感对地观测技术的快速发展，高光谱、红外、合成孔径雷达和LiDAR等遥感技术可以获取观测地物不同维度的反射和散射特征，同一观测场景内存在多源异构的遥感数据，这些数据之间往往包含明显的互补性和特异性，但是不同数据之间也存在结构上的差异性及特征上的不均衡性，有效地利用多源异构遥感数据可以显著提升地物探测识别的精度和效率。高时间、高空间和高光谱分辨率的影像及其他模态的遥感数据为地物精细探测提供了数据支撑，其研究重点在于如何对不同模态的数据进行统一表征和信息的融合，从而进行有效的地物探测。
(4) 综合利用知识和数据的更高层次智能化处理。目前以深度神经网络为代表的高光谱影像智能化处理方法还局限于特定应用场景，无法快速应用到大范围的解译场景，这就限制了高光谱影像更加广泛的应用。为此，发展更高层次的智能化探测方法是十分必要的。在目前的基于深度学习模型的遥感影像分类中，一般都是采用数据驱动的方式训练深层神经网络，并没有将地学知识引入深层神经网络结构中进行基于知识的学习，可以考虑将地学知识(例如类别之间的关联结构)融合到深层神经网络的学习中，从而利用更高层次的关系来指导深层神经网络的学习。此外，自监督学习在自然语言处理和计算机视觉领域崭露头角，其主要是通过构建大模型从大量的无标签数据中进行自监督预训练学习，如何构建适合高光谱遥感影像的自监督学习模型还需要进一步研究。总的来说，融合知识推理、发展新型网络模型以及先进的学习策略，可以将遥感影像地物分类朝着更高层次的智能化探测方向推进。
| [1] |
余旭初, 冯伍法, 杨国鹏, 等. 高光谱影像分析与应用[M]. 北京: 科学出版社, 2013. YU Xuchu, FENG Wufa, YANG Guopeng, et al. Hyperspectral image analysis and application[M]. Beijing: Science Press, 2013. |
| [2] |
张良培, 杜博, 张乐飞. 高光谱遥感图像处理[M]. 北京: 科学出版社, 2012. ZHANG Liangpei, DU Bo, ZHANG Lefei. Hyperspectral remote sensing image processing[M]. Beijing: Science Press, 2012. |
| [3] |
中华人民共和国国家质量监督检验检疫总局, 中国国家标准化管理委员会. GB/T 33462—2016基础地理信息1∶10 000地形要素数据规范[S]. 北京: 中国标准出版社, 2016. General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China, Standardization Administration of the People's Republic of China. GB/T 33462—2016 Fundamental geographic information specifications for 1∶10 000 topographic data[S]. Beijing: Standards Press of China, 2016. |
| [4] |
丁胜, 袁修孝, 陈黎. 粒子群优化算法用于高光谱遥感影像分类的自动波段选择[J]. 测绘学报, 2010, 39(3): 257-263. DING Sheng, YUAN Xiuxiao, CHEN Li. Automatic band selection of hyperspectral remote sensing image classification using particle swarm optimization[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(3): 257-263. |
| [5] |
PATRO R N, SUBUDHI S, BISWAL P K, et al. A review on unsupervised band selection techniques: land cover classification for hyperspectral earth observation data[J]. IEEE Geoscience and Remote Sensing Magazine, 2021, 9(3): 72-111. DOI:10.1109/MGRS.2021.3051979 |
| [6] |
FENG Jie, LI Di, GU Jing, et al. Deep reinforcement learning for semisupervised hyperspectral band selection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-19. |
| [7] |
LIU Bing, YU Anzhu, ZHANG Pengqiang, et al. Active deep densely connected convolutional network for hyperspectral image classification[J]. International Journal of Remote Sensing, 2021, 42(15): 5915-5934. DOI:10.1080/01431161.2021.1931542 |
| [8] |
石茜, 杜博, 张良培. 一种基于局部判别正切空间排列的高光谱遥感影像降维方法[J]. 测绘学报, 2012, 41(3): 417-420. SHI Qian, DU Bo, ZHANG Liangpei. A dimensionality reduction method for hyperspectral imagery based on local discriminative tangent space alignment[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(3): 417-420. |
| [9] |
MURA M D, BENEDIKTSSON J A, WASKE B, et al. Morphological attribute profiles for the analysis of very high resolution images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(10): 3747-3762. DOI:10.1109/TGRS.2010.2048116 |
| [10] |
LIU Bing, GUO Wenyue, CHEN Xin, et al. Morphological attribute profile cube and deep random forest for small sample classification of hyperspectral image[J]. IEEE Access, 2020, 56: 117096-117108. |
| [11] |
LI Wei, CHEN Chen, SU Hongjun, et al. Local binary patterns and extreme learning machine for hyperspectral imagery classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(7): 3681-3693. DOI:10.1109/TGRS.2014.2381602 |
| [12] |
JIA Sen, LIN Zhijie, DENG Bin, et al. Cascade superpixel regularized gabor feature fusion for hyperspectral image classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(5): 1638-1652. DOI:10.1109/TNNLS.2019.2921564 |
| [13] |
LIU Bing, YU Anzhu, TAN Xiong, et al. Slow feature extraction for hyperspectral image classification[J]. Remote Sensing Letters, 2021, 12(5): 429-438. DOI:10.1080/2150704X.2021.1895448 |
| [14] |
ROMASZEWSKI M, GLOMB P, CHOLEWA M. Semi-supervised hyperspectral classification from a small number of training samples using a co-training approach[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 121: 60-76. DOI:10.1016/j.isprsjprs.2016.08.011 |
| [15] |
LIU Bing, YU Xuchu, YU Anzhu, et al. Spectral-spatial classification of hyperspectral imagery based on recurrent neural networks[J]. Remote Sensing Letters, 2018, 9(12): 1118-1127. DOI:10.1080/2150704X.2018.1511933 |
| [16] |
刘冰, 余旭初, 张鹏强, 等. 联合空-谱信息的高光谱影像深度三维卷积网络分类[J]. 测绘学报, 2019, 48(1): 53-63. LIU Bing, YU Xuchu, ZHANG Pengqiang, et al. Deep 3D convolutional network combined with spatial-spectral features for hyperspectral image classification[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(1): 53-63. DOI:10.11947/j.AGCS.2019.20170578 |
| [17] |
WANG Kexian, ZHENG Shunyi, LI Rui, et al. A deep double-channel dense network for hyperspectral image classification[J]. Journal of Geodesy and Geoinformation Science, 2021, 4(4): 46-62. |
| [18] |
XU Yonghao, ZHANG Liangpei, DU Bo, et al. Spectral-spatial unified networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5893-5909. |
| [19] |
XUE Zhixiang, YU Xuchu, TAN Xiong, et al. Multiscale deep learning network with self-calibrated convolution for hyperspectral and LiDAR data collaborative classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-16. |
| [20] |
XUE Zhixiang, TAN Xiong, YU Xuchu, et al. Deep hierarchical vision transformer for hyperspectral and LiDAR data classification[J]. IEEE Transactions on Image Processing, 2022, 31: 3095-3110. DOI:10.1109/TIP.2022.3162964 |
| [21] |
ZHENG Zhuo, ZHONG Yanfei, MA Ailong, et al. FPGA: fast patch-free global learning framework for fully end-to-end hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(8): 5612-5626. DOI:10.1109/TGRS.2020.2967821 |
| [22] |
ZHU Lin, CHEN Yushi, PEDRAM G, et al. Generative adversarial networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5046-5063. DOI:10.1109/TGRS.2018.2805286 |
| [23] |
QIN Anyong, SHANG Zhaowei, TIAN Jinyu, et al. Spectral-spatial graph convolutional networks for semisupervised hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 16(2): 241-245. |
| [24] |
左溪冰, 刘冰, 余旭初, 等. 高光谱影像小样本分类的图卷积网络方法[J]. 测绘学报, 2021, 50(10): 1358-1369. ZUO Xibing, LIU Bing, YU Xuchu, et al. Graph convolutional network method for small sample classification of hyperspectral images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(10): 1358-1369. DOI:10.11947/j.AGCS.2021.20200155 |
| [25] |
LIU Bing, YU Anzhu, YU Xuchu, et al. Deep multiview learning for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9): 7758-7772. |
| [26] |
陶超, 阴紫薇, 朱庆, 等. 遥感影像智能解译: 从监督学习到自监督学习[J]. 测绘学报, 2021, 50(8): 1122-1134. TAO Chao, YIN Ziwei, ZHU Qing, et al. Remote sensing image intelligent interpretation: from supervised learning to self-supervised learning[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8): 1122-1134. DOI:10.11947/j.AGCS.2021.20210089 |
| [27] |
XUE Zhixiang, YU Xuchu, YU Anzhu, et al. Self-supervised feature learning for multimodal remote sensing image land cover classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-15. |
| [28] |
HE Xin, CHEN Yushi, PEDRAM G. Heterogeneous transfer learning for hyperspectral image classification based on convolutional neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3246-3263. |
| [29] |
WANG Haoyu, CHEN Yushi, CHEN C L P, et al. Hyperspectral image classification based on domain adversarial broad adaptation network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-13. |
| [30] |
GAO Kuiliang, GUO Wenyue, YU Xuchu, et al. Deep induction network for small samples classification of hyperspectral images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 3462-3477. |