2. 中国科学院大学资源与环境学院，北京 100049;
3. 中国科学院计算光学成像技术重点实验室，北京 100094
2. College of Resources and Environment, University of Chinese Academy of Sciences, Beijing 100049, China;
3. Key Laboratory of Computational Optical Imaging Technology, Chinese Academy of Sciences, Beijing 100094, China
遥感技术自20世纪60年代诞生以来，获取了海量的高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率数据，仅我国就已发射200余颗地球遥感卫星，为人类探知地球提供了丰富的多模态信息[1]，其中典型的多模态数据包括光学、红外、合成孔径雷达(synthetic aperture radar，SAR)及激光雷达(light detection and ranging，LiDAR)等。多模态遥感数据在捕捉同一场景的不同角度和不同尺度信息上展现出各自独有的优势，例如，记录地表发射辐射的热红外数据被广泛应用于地表温度反演等领域；具有全天时、全天候观测优势的SAR数据包含地物丰富的空间和结构信息；LiDAR数据可以提供地表三维空间信息，从而弥补传统观测手段高程维度缺失的不足；光学数据则可以有效地捕捉目标的空谱特征。然而受到特定传感器种类及指标的约束，单一模态数据往往只能从特定角度反映地物某一方面的特征，难以全面且完整地反映目标的特性，进而限制了其在相关领域的应用能力。
其中，多光谱和高光谱作为光学数据的重要组成部分，其空间分辨率与光谱分辨率呈现出互补的特征。表 1总结了国内外典型航天成像光谱仪及其指标参数[2-3]。由成像光谱仪获取的高光谱数据以窄而连续的光谱波段连续成像，因此能够捕捉地物精细的光谱特征，进而广泛应用于地表分类、环境监测等领域；而空间信息的损失导致高光谱数据无法提供与多光谱数据同等丰富的纹理细节和几何特征，因而难以满足后续精细化的生产需求。尽管可以通过改进成像系统的方式来达到空间分辨率增强的目的，但这对硬件设计及星上数据存储与传输提出了更高的要求。相较于这种途径，超分辨率融合技术是近年来多模态遥感数据融合研究的热点，旨在通过融合高空间分辨率图像的空间信息与高光谱分辨率图像的光谱信息来获得空间与光谱分辨率双高的产品，进而缓解空间/光谱分辨率相互制约的问题[4]。该技术包括多/全色遥感图像超分辨率融合、高/全色遥感图像超分辨率融合及高/多光谱遥感图像超分辨率融合。图 1展示了高/多光谱遥感图像超分辨率的融合过程，可以明显地看出经过超分辨率重建后的高光谱图像具有更强的空间细节表征能力。图 2根据Web of Science核心数据库统计了近年来该领域相关文献的发表情况，从中可以直观地看出该方向的研究热度呈上升趋势。
| 传感器 | 发射年份 | 国家/组织 | 波段数 | 光谱分辨率/nm | 光谱范围/μm | 空间分辨率/m |
| Terra/Aqua MODIS | 1999/2002 | 美国 | 36 | - | 0.4~14.4 | 250(波段1—2) 500(波段3—7) 1000(波段8—36) |
| EO-1 Hypersion | 2000 | 美国 | 242 | 10 | 0.4~2.5 | 30 |
| Shenzhou-3CMODIS | 2002 | 中国 | 34 | 20(VNIR) 100(SWIR) 500/1000(TIR) |
0.4~12.5 | 400~500 |
| PROBA-1 CHRIS | 2001 | 欧洲航天局 | 62 18 |
6~33 | 0.4~1.05 | 34 17 |
| CE-1 IIM | 2007 | 中国 | 32 | 9.6~22.5 | 0.48~0.96 | 200 |
| HJ-1A HSI | 2008 | 中国 | 110~128 | 5 | 0.45~0.95 | 100 |
| TG-1 HSI | 2011 | 中国 | 128 | 10(VNIR) 23(SWIR) |
0.4~2.5 | 10(VNIR) 20(SWIR) |
| GF-5 AHSI | 2018 | 中国 | 330 | 5(VNIR) 10(SWIR) |
0.4~2.5 | 30 |
| Zhuhai-1 OHS HSI | 2018 | 中国 | 32 | 2.5 | 0.4~1.0 | 10 |
| ALOS-3 HISUI | 2020 | 日本 | 185 | 10(VNIR) 12(SWIR) |
0.4~2.5 | 30 |
| EnMAP HSI | 2020 | 德国 | 244 | 6.5(VNIR) 10(SWIR) |
0.42~2.45 | 30 |
|
| 图 1 高/多光谱遥感图像超分辨率融合 Fig. 1 Hyperspectral and multispectral remote sensing image super-resolution fusion |
|
| 图 2 高/多光谱遥感图像超分辨率融合论文统计 Fig. 2 Paper statistics of hyperspectral and multispectral remote sensing image super-resolution fusion |
随着超分辨率融合技术的快速发展，国内外学者从不同视角对该领域进行了综述，笔者将部分综述文章按照不同主题总结于表 2。
文献[17—19]通过完备的试验设置对不同算法在国产数据的融合效果进行验证分析，为从业者在实际应用的选择上提供了全面的参考。文献[5]从统计的角度对相关文献进行调研，进而对不同方法的发展历程进行了客观的回顾。文献[7]通过构建一个面向多/全色图像融合的大尺度公开数据集，进而在该数据集上对典型算法进行试验分析。文献[4]阐述了深度学习技术在多模态遥感图像融合中的应用，包括空谱融合、时空融合及光学图像与LiDAR、SAR等异质数据融合的场景。不同于上述综述，本文对高/多光谱遥感图像超分辨率融合领域进行了全面总结。首先, 聚焦该领域技术，分别从细节注入方法、模型优化方法及深度学习方法3个方面对其进行详细介绍；然后，给出了该技术在像素级分类、目标提取和在轨融合的成功应用案例；最后，就目前发展现状与研究所面临的挑战，对该领域做出展望与总结。
1 高/多光谱遥感图像超分辨率融合技术多/全色和高/全色超分辨率融合可以看作高/多光谱图像超分辨率融合的特例，因此早期的研究思路是将多/全色融合方法推广到高/多光谱融合当中，这类方法统称为细节注入方法。近年来，模型优化方法及深度学习方法因其出色的重建能力受到高/多光谱图像超分辨率融合领域更多关注。因此，本节将简单回顾细节注入方法，然后详细阐述模型优化和深度学习方法在该领域的研究进展。图 3总结了本文的分类体系。
|
| 图 3 高/多光谱遥感图像超分辨率融合方法分类 Fig. 3 Categories of hyperspectral and multispectral remote sensing image super-resolution fusion methods |
1.1 细节注入方法
细节注入方法可以分为两类，分别是成分替代法和多分辨率分析法[8]。成分替代法是将低空间分辨率图像进行空间变换以分离空间和光谱信息，并将高空间分辨率图像替换空间信息部分，最终逆变换回原空间以达到锐化效果。多分辨率分析法则是将多分辨率分解技术应用于输入图像来获取低空间分辨率图像缺失的高频细节，并将其注入低空间分辨率图像以达到分辨率增强的目的。虽然两类方法思想迥异，却可以用统一的细节注入框架描述[22]，即先提取高空间分辨率图像的细节信息，再逐波段注入低空间分辨率图像中，如图 4所示。因此，细节注入方法间的差别主要在于提取及注入细节信息的方式[23]。经典的细节注入方法包括IHS(intensity-hue-saturation)变换[24]、Gram-Schmidt变换[25]、Brovey变换[26]及小波变换[27]等。由于细节注入法并没有最佳的空间细节提取与注入方案，因此多种自适应方法陆续被提出。文献[28]和文献[29]分别根据输入图像间的光谱覆盖和加权均方差调整权重向量。文献[30]在文献[29]的基础上利用全色图像的梯度信息自适应计算增益向量。
|
| 图 4 细节注入方法 Fig. 4 Detail injection-based fusion methods |
多/全色图像超分辨率融合属于一对多问题，而高/多光谱图像超分辨率融合属于多对多问题。因此，需要将多对多问题分解为多个一对多问题，才能实现细节注入方法到高/多光谱图像融合领域的有效迁移。文献[31]首次将小波分解技术应用到该领域，利用波段分组和补全的策略对高光谱图像进行逐波段的融合。尽管该尝试是一次成功的突破，但二维小波分解难以有效提取图像的三维特征，进而融合效果受到限制。在此基础上，文献[32]采用三维小波变换技术，首先利用空间光谱重采样技术实现输入图像的对齐，再提出针对性的策略对小波系数进行融合。为了验证细节注入方法的融合效果，文献[33]通过相关系数的计算为每个高光谱波段选择最合适的多光谱波段进行融合。试验发现，相比矩阵分解方法，细节注入方法的效果更佳。采用相同的策略，文献[14]根据相关系数实现输入图像波段的聚类，进而成功地将Gram-Schmidt变换方法应用到高/多光谱图像超分辨率融合领域。与以上方法性文章不同，有部分学者旨在提出统一的框架来实现算法的有效迁移。文献[34]提出的框架通过光谱覆盖范围将输入图像分组，并采用光谱重采样的策略为多光谱覆盖范围外的高光谱波段合成高分辨率图像，成功对两个方法进行了验证。此外，文献[35]提出名为Hyper-Sharpening的框架，该框架则是利用已有多光谱数据为每个高光谱波段合成对应高分辨率图像。为了解决真实图像因外界条件差异而导致的光谱畸变，文献[36]提出一种光谱调制框架，根据高光谱的成像条件对多光谱进行相应调整，并成功应用到两种多/全色图像融合方法中。
1.2 模型优化方法不同于细节注入方法，模型优化方法利用退化模型建立高空间分辨率多光谱和低空间分辨率高光谱到目标高光谱之间的退化关系，即低分辨率高光谱是目标高光谱空间模糊和下采样后的结果，高分辨率多光谱则是其光谱下采样后的结果，如图 5所示。该类方法对退化过程进行了显式建模，考虑了更复杂的退化关系，更贴近真实场景情况，因此近年来得到学界更多关注。然而由于待估计的目标高光谱参数远多于方程数，利用已知的多光谱和高光谱观测数据求取目标高光谱是一个欠定问题，因此需要人为设置合适的先验信息和约束条件，并通过优化求解的方法获得待求图像。该类方法包括基于贝叶斯的方法、基于矩阵分解的方法及基于张量表示的方法。
|
| 图 5 退化模型 Fig. 5 The degradation model |
1.2.1 贝叶斯法
基于贝叶斯的方法首先对目标场景施加合适的先验信息来正则化待求解的逆问题，再通过最大化后验概率或最小化负对数后验概率来求解目标参数，该类方法往往是在子空间内进行求解。文献[37—38]提出利用随机混合模型求解未知参数的MAP-SMM方法，并成功用于解决高/全色和高/多光谱图像超分辨率融合问题。文献[39]通过最大化后验概率建立目标函数，在满足退化模型限制的同时，能有效地挖掘全色图像与目标图像之间的潜在关系。文献[40—41]将该思想应用于小波域并施加高斯混合尺度先验来提升模型对噪声的稳健性。尽管上述方法在图像恢复中获得了理想的效果，但在计算效率上欠佳。因此，文献[42]将最大似然概率问题转化为求解西尔维斯特方程的封闭解问题以此来有效降低模型的计算压力，并在此基础上提出稳健性更高的R-FUSE方法[43]。此外，该作者后续还提出对子空间表达系数引入稀疏高斯先验的策略，将其用完备字典稀疏表示[44]。
1.2.2 矩阵分解法基于矩阵分解的方法是将三维图像展开为二维矩阵，并假设目标高光谱能够分解为两个矩阵的乘积，该过程可以通过线性光谱解混或稀疏表示来建模。当利用线性光谱解混模型时，两个矩阵分别代表端元和丰度；当利用稀疏表示模型时，则分别代表字典和稀疏系数。因此，矩阵分解方法的思想在于利用已知的低分辨率高光谱和高分辨率多光谱，将求解目标高光谱的问题转化为求解两个矩阵的问题，如图 6所示。
|
| 图 6 矩阵分解方法 Fig. 6 The matrix decomposition based fusion methods |
根据是否利用退化模型中的点扩散函数和光谱响应函数，本文将常见的矩阵分解方法分为3大类。
第一类方法为早期的矩阵分解方法，可以追溯到光谱解混应用中，但该方法忽略了退化模型中点扩散函数和光谱响应函数的作用。文献[45]在端元信息已知的条件下，利用多光谱图像求取高空间分辨率丰度矩阵。文献[46]结合多光谱图像的分类图以求取高光谱的光谱矩阵进而重构出目标图像。
第二类方法利用光谱响应函数以构建多光谱光谱矩阵和高光谱光谱矩阵之间的关系，进而分别从高光谱估计光谱矩阵及从多光谱估计对应系数。该类方法的不同在于对待求矩阵施加的约束条件及优化方式。例如，采用非负矩阵分解和非负最小二乘算法的NMF模型[47]，利用K-SVD算法求解的SASFM模型[48]，并考虑矩阵非负限制的G-SOMP+模型[49]。其中，有多篇文献针对G-SOMP+模型进行改进。文献[50]考虑到了非局部自相似性从而采用训练多个光谱字典的策略。文献[51]采用自适应分割方式以取代原本的规则分割。
第三类方法是目前广泛采用的方式，通过引入点扩散函数，以此来有效地建立低空间分辨率高光谱和高空间分辨率多光谱系数间的关系，从而利用高光谱和多光谱的信息以更精确地估计系数，该类方法可细分为3种范式。范式一是利用低分辨率高光谱求取光谱矩阵，并同时利用低分辨率高光谱和高分辨率多光谱求取系数矩阵。文献[52]提出基于聚类的结构化稀疏正则项来学习空间相关性。文献[53]假设目标高光谱存在于更低维的子空间，并通过施加总变分正则项来求解系数。范式一在求取系数的同时固定光谱矩阵。为了更好利用空间和光谱信息，范式二利用点扩散函数建立系数矩阵间的关系及利用光谱响应函数建立光谱矩阵之间的关系，从而对两个矩阵交替更新求解。文献[54—55]将输入图像划分为多个图像块，对每个子图像采用耦合解混的思想交替更新，后者采用只迭代一次的特殊策略。文献[56—57]采用相似的思想，前者利用非负矩阵分解方法，后者采用近端交替线性最小化方法，同时考虑到更多的先验约束。范式三将最小化代价函数问题分别看成最小化光谱矩阵和系数矩阵两个子问题，然后依次对两个子问题迭代求解。文献[58]通过对代价函数施加多种先验约束，在盲融合和非盲融合情况下均取得了理想的重建效果。文献[59]通过学习一个空间字典以更好地对光谱字典难以表示的空间细节建模。
1.2.3 张量表示法矩阵分解法将原本的三维光谱立方体展开为二维矩阵进行处理，破坏了内部固有的结构，难以有效地挖掘图像内部潜在的关系。基于张量表示的方法则是把原始数据看成三阶张量，保留了立方体原本的数据排列方式，因此近年来受到图像融合领域的广泛关注。按照不同的分解方式，基于张量表示的方法又可以细分为Tucker分解(Tucker decomposition)、CP分解(ANDECOMP/PARAFAC decomposition)、BTD分解(block term decomposition)、张量网络(tensor networks)及t-SVD分解(tensor singular value decomposition)，如图 7所示。
|
| 图 7 典型张量分解方法 Fig. 7 The typical tensor decomposition methods |
Tucker分解是假设目标高光谱可以分解为1个核心张量与3个矩阵的模态积。如图 7所示，在张量运算中，χ为三阶张量，×n为张量与矩阵之间的n模积，○指向量外积。在Tucker分解中，A、B、C为不同维度上的因子矩阵；
张量网络(tensor networks)的提出是为了解决“维度诅咒”的问题，它是将高阶张量表示为多个低阶矩阵或张量的连接，如图 7所示，Gk是潜在张量，tr(·)为矩阵的迹。其中，代表性的分解方式包括TR分解(tensor ring decomposition)及TT分解(tensor train decomposition)。TR分解将一个高阶张量分解为一系列三阶张量的环型多线性乘积。TT分解作为TR分解的特殊形式，首项和尾项核心张量为二阶矩阵。借助TR分解，文献[71]在耦合分解的基础上引入核范数来重建高光谱的光谱低秩性。同样是考虑光谱间的相关性，文献[72]引入拉普拉斯矩阵正则化目标函数。文献[73]通过对聚类后的4D张量施加张量链低秩先验来恢复图像内部结构相关性。在此基础上，文献[74]引入解混思想，假设目标图像能在端元下稀疏表示。
此外，t-SVD分解[75]是建立在张量积基础上定义的新框架，也应用到解决高/多光谱图像超分辨率融合的问题中。文献[76]通过对不同簇的子空间表达系数施加低秩先验来恢复待求图像。文献[77]通过提取低空间分辨率高光谱的先验信息以提升对子空间表达系数的求解速度和精度。
1.3 深度学习方法随着遥感大数据时代的到来及硬件的快速发展，深度学习方法因其强大的特征提取能力及表征能力被广泛应用到遥感领域[78-79]，如异常检测[80-81]、光谱解混[82-85]及土地覆盖分类[86]等。近年来，深度学习方法同样在高/多光谱图像超分辨率融合领域取得了重要突破，本文将其分为监督学习和非监督学习两大类并依次进行介绍。
1.3.1 监督学习监督学习方法分为训练和测试两个阶段。在训练阶段，首先将高光谱图像作为参考图像，再对其采用空间和光谱降采样的方式制作大量的低空间分辨率高光谱和高空间分辨率多光谱数据集。并将生成的数据作为网络输入，以此来构建到参考图像的映射关系。在测试阶段，通过将映射关系应用到测试数据中，来实现新数据的超分辨率融合。其中，卷积神经网络作为深度学习主流模型，因其出色的特征提取能力被广泛应用到高/多光谱图像超分辨率融合领域[87]。
本文将监督方法分为单流网络、多流网络及混合网络3种(图 8)。单流网络方法往往是将上采样后的高光谱数据与多光谱数据拼接成新的三维数据立方体输入网络中进行学习。文献[88—89]分别采用了3D卷积网络、残差网络学习映射函数。文献[90]采用跳跃连接来深层次地挖掘多光谱的空间信息。但单流网络方法忽略了两种数据间的差异，难以有效地提取不同模态数据的特征，而多流网络方法则采用不同的子网络分别提取两种数据的信息，再将提取的特征进行融合。文献[91—93]首先学习多光谱不同尺度上的特征，再将学习到的特征与对应尺度的高光谱进行融合。文献[94]采用两个子网络分别提取空间和光谱维度上的特征，再逐像素地重建目标图像。空间和光谱注意力机制同样被引入高/多光谱图像超分辨率融合领域以此来更好地对特征进行矫正[95-96]。此外，为有效解决深度学习方法可解释性差的问题，近年来有文献提出将传统方法与深度模型相结合的思路。文献[97—98]将深度模型与细节注入模型相结合，通过分别学习缺失的细节成分和高分辨率强度分量来实现空间分辨率增强的目的。深度学习与模型优化方法相结合的方式是在网络学习过程中将退化模型作为辅助信息，将整个或部分求解过程替换为深度网络以此来实现所需知识的提取。文献[99—100]利用网络学习到的先验信息来二次优化获取到的目标图像。文献[101]用去噪网络替换原本的参数求解过程。文献[102]在求取目标图像的同时，能够自主学习退化与融合模型。文献[103—105]利用深度展开技术将整个优化过程用端到端的网络表示，进而让特征提取过程具有可解释性。
|
| 图 8 监督深度学习 Fig. 8 Supervised deep learning-based fusion methods |
1.3.2 非监督学习
相比于监督学习方法，非监督学习方法不需要构造大量训练集来学习输入图像到参考图像间的映射关系，只需要一对低空间分辨率高光谱和高空间分辨率多光谱即可重构出目标高光谱图像，进而实现了“训练即测试”的目的，如图 9和图 10所示。本文将该类方法分为两大类，分别是编码-解码方式及生成-约束方式。
|
| 图 9 编码-解码式方法 Fig. 9 Unsupervised encode-decode-based fusion methods |
|
| 图 10 生成-约束式方法 Fig. 10 Unsupervised generate-constrain-based fusion methods |
编码-解码方式是将线性光谱解混思想引入深度学习中，利用自编码器学习到的丰度及端元来重建目标图像，如图 9所示。文献[106]假设输入图像的丰度服从迪利克雷分布从而使其满足和为一的约束，但该方法假设光谱响应函数作为先验信息已知。文献[107]在此基础上，实现了退化模型的自适应学习，从而摆脱了对退化函数先验的依赖。文献[108]引入了跨模态交叉注意力机制，来实现多光谱和高光谱间的信息高效利用。文献[109]提出由卷积神经网络构成的变分概率自编码器框架，由3个可以联合训练的子网络来重构空谱信息。文献[110—111]提出了图像配准与融合的统一框架，实现了对未配准输入图像的高质量重建。
生成-约束方式是在外部信息的辅助及退化模型的约束下，利用具有强大特征提取能力的生成网络将输入图像重建回目标图像，这里的输入图像可以是已有的多光谱或者随机噪声，甚至是预处理过的初始图像，如图 10所示。文献[112]利用特殊设计的网络结构来自主选择或学习光谱响应，从而辅助输入的多光谱生成目标图像。同样是利用多光谱作为输入，文献[113]首先在空间维度上对其聚类，再学习空间降采样后的多光谱到高光谱上的光谱逆向映射，之后利用学习到的映射来辅助原尺度多光谱图像进行重建。文献[114]在此基础上，通过引入三阶段的训练策略来实现退化函数的自适应学习。除了以多光谱作为输入，文献[115]利用编码解码网络学习到的多尺度特征引导随机噪声图像生成目标图像。文献[116]在此基础上，通过在编码解码网络中引入注意力模块来更好地获取语义特征与细节信息。文献[117—118]利用输入图像自身包含的先验知识生成带有丰富结构信息的初始图像作为网络输入。
同样是不需要利用大量监督数据的辅助，自监督技术通过挖掘自身图像的信息来实现数据的高级特征表示，进而在遥感领域发展迅猛[119]。但在高/多光谱遥感图像超分辨率融合领域，自监督技术和非监督技术之间的界限尚未明确，目前的自监督方法可以归纳到上述提及的非监督学习框架中。文献[120—122]利用生成网络从输入图像中恢复出目标图像，属于生成-约束式方法。文献[123]从亚像元解混的角度，利用自监督模块来实现高保真度的图像重建，该方法可以归纳到编码-解码式方法中。
2 高/多光谱遥感图像超分辨率融合技术的应用超分辨率融合技术不单单是为了提升产品的空间分辨率，提高感官上的舒适度，更是为了拓宽后续应用的广度、提升相关应用的精度，为多样化的需求带来更可靠的数据支持。然而，相比于近年来突飞猛进的超分辨率融合技术，其在下游应用的潜力还未被充分开发。因此，本节将从实际应用的角度出发，回顾高/多光谱遥感图像超分辨率融合技术在分类任务、目标提取领域的应用案例，并指出在轨融合应用的重要意义，旨在呼吁对应用层面更多的关注。
2.1 像素级分类像素级分类是遥感领域近年来广泛研究的热门主题，同时也是融合产品应用的主要选择。除了对融合产品进行基本的光谱-空间指标判别外，文献[94, 124]为验证其在实际应用中的效果，对不同算法的融合结果进行了分类精度的比较。文献[18—19]对国产数据的融合效果进行了全面的试验与分析，其中包括对融合结果进行分类验证，以此来评判算法间的优劣性。文献[14]通过对比融合前与融合后图像的分类精度，来验证融合技术在像素级分类中的优势。
2.2 目标提取目标提取旨在从图像中分离出感兴趣的目标，例如道路、屋顶及不透水面等。相比于像素级分类，融合产品在目标提取的应用较少。文献[125]利用Hyperion高光谱与IKONOS多光谱融合产品进行道路提取，试验发现相比于单一数据源，融合后的数据可以为目标提取提供多维度的特征，进而有效提升任务的精度，因此验证了融合产品在该任务上的有效性。
2.3 在轨融合随着卫星平台、信号传输及算法算力的不断发展，数据融合成为在轨实时处理中的重要一环。相比于地面融合处理的低时效性，在轨融合能够利用多源卫星数据间的传输实现高响应度的融合产品生成，进而为灾害现场评估及军事目标监控提供实时的数据源[126]。
3 未来展望伴随着相关理论的不断发展，近年来高/多光谱遥感图像超分辨率融合领域取得了明显突破，重建质量在空间和光谱维度得到极大提升。未来，随着人工智能技术、对地观测平台及相关应用需求的推动，高/多光谱图像超分辨率融合领域将会蓬勃发展。本节将对该领域的未来发展进行展望，旨在给相关从业者提供多视角的启发。
(1) 退化模型是模型驱动类方法中的基础，它对目标图像与观测图像间的关系进行了清晰且简洁的建模表示。其中，光谱响应函数与点扩散函数在退化模型中分别起着光谱退化和空间退化的重要作用。然而，在实际问题中，往往面临着输入图像光谱响应不一致及退化函数无法准确知晓的情况。因此，如何在条件更苛刻的真实情况下重建出高质量的融合图像仍需进一步的研究。
(2) 目前，与模型驱动相对的是以深度学习为代表的数据驱动类方法。前者基于退化模型对待求图像施加人为先验，并采用严格的数学理论进行优化求解。后者则采用深度学习技术从大量数据中挖掘信息，摆脱了对待求图像人为设置先验信息的约束，但网络缺乏一定的可解释性。正因为两类方法优劣势的互补性，数据驱动与模型驱动耦合的超分辨率重建将会是未来的研究热点。
(3) 在解决高/多光谱图像超分辨率融合问题中，学者将更多的注意力投入融合方法的设计上。通过仿真试验，低空间分辨率高光谱和高空间分辨率多光谱符合最理想的融合输入条件，进而忽略了融合前输入图像的预处理过程，例如辐射归一化、去云及图像间的配准问题。因此，将图像预处理与图像融合相结合的多任务一体化超分辨率重建具有重要的应用前景。
(4) 目前绝大部分算法验证停留在基础的空间-光谱重建指标上，例如光谱角和峰值信噪比。然而，融合的目的不仅是服务于目视判读，更是为后续的应用提供更可靠的数据支持和决策，例如分类与探测等。算法与实际应用的脱节导致融合产品还未充分在下游任务中展示出优势。因此，与应用深度耦合的融合算法是未来研究的热点之一。
4 结论由于空间分辨率和光谱分辨率间的固有矛盾，高光谱图像难以提供多光谱图像同等丰富的空间细节，因此高/多光谱图像超分辨率融合技术成为突破单一模态传感器限制的重要途径。本文从细节注入方法、模型优化方法及深度学习方法3个方面介绍了高/多光谱遥感图像超分辨率融合技术的研究进展。同时对该技术的实际应用给出了案例，并根据当前的发展现状，对该方向的趋势进行了展望，主要结论如下：
(1) 细节注入方法旨在解决多/全色图像超分辨率融合问题，因此当迁移到高/多光谱图像超分辨率融合领域，随之而来的是不可避免的空间和光谱畸变。相比于细节注入方法，模型优化方法通过对待求图像施加先验信息，在退化模型的辅助之下可以实现高保真度的图像重建。其中，矩阵分解法通过同时引入点扩散及光谱响应函数的方式能够全面地利用输入图像的三维信息，因此成为主流的选择之一。此外，张量表示方法因其出色的空间-光谱结构特征挖掘能力，成为近年来模型优化方法中的佼佼者，典型代表有Tucker分解和CP分解。然而，在面对复杂的自然场景时，设计合适且有效的先验约束是一项烦琐的探索性工作，往往伴随着高复杂度的求解过程。相反，深度学习方法则摆脱人为设计先验的过程，通过对大量数据的自动化挖掘，实现了复杂函数的高度拟合。但大规模、高质量的训练集让监督类方法难以有效应用到实际需求中，同时“黑箱”学习过程也为人所诟病。
(2) 模型优化方法与深度学习方法相结合是一种“双赢”策略，既可以避免人为设计先验的烦琐过程，又可以缓解深度学习的“黑箱”过程，因此成为未来热点研究方向之一。
(3) 卷积神经网络因其强大的特征提取和学习能力被广泛应用到高/多光谱图像超分辨率融合领域。然而，在计算机视觉领域大放异彩的生成对抗模型及Transformer模型还未被充分开发与利用。未来，更多模型的成功迁移有待进一步的研究。
(4) 近年来，逐渐出现的多源数据协同的高/多光谱图像超分辨率融合文献旨在利用辅助的全色图像或者SAR图像来协助实现高质量的高/多光谱图像超分辨率重建。但该方向刚刚起步，仍有巨大的发展空间。
(5) 高/多光谱图像超分辨率融合产品还未在下游任务中充分展现出自身优势，主要局限在像素级分类的应用上，在其他领域的潜力还未被挖掘。拓展融合产品后续的应用范围，更好地为后续应用服务，是目前该领域的关注点之一。
| [1] |
孙伟伟, 杨刚, 陈超, 等. 中国地球观测遥感卫星发展现状及文献分析[J]. 遥感学报, 2020, 24(5): 479-510. SUN Weiwei, YANG Gang, CHEN Chao, et al. Development status and literature analysis of China's earth observation remote sensing satellites[J]. National Remote Sensing Bulletin, 2020, 24(5): 479-510. |
| [2] |
窦闻, 陈云浩, 何辉明. 光学遥感影像像素级融合的理论框架[J]. 测绘学报, 2009, 38(2): 131-137. DOU Wen, CHEN Yunhao, HE Huiming. Theoretical framework of optical remotely sensed image fusion[J]. Acta Geodaetica et Cartographica Sinica, 2009, 38(2): 131-137. DOI:10.3321/j.issn:1001-1595.2009.02.007 |
| [3] |
张良培, 何江, 杨倩倩, 等. 数据驱动的多源遥感信息融合研究进展[J]. 测绘学报, 2022, 51(7): 1317-1337. ZHANG Liangpei, HE Jiang, YANG Qianqian, et al. Date-driven multi-source remote sensing data fusion: process and challenges[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(7): 1317-1337. DOI:10.11947/j.AGCS.2022.20220171 |
| [4] |
LI Jiaxin, HONG Danfeng, GAO Lianru, et al. Deep learning in multimodal remote sensing data fusion: a comprehensive review[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 112: 102926. DOI:10.1016/j.jag.2022.102926 |
| [5] |
MENG Xiangchao, SHEN Huanfeng, LI Huifang, et al. Review of the pansharpening methods for remote sensing images based on the idea of meta-analysis: practical discussion and challenges[J]. Information Fusion, 2019(46): 102-113. |
| [6] |
RANCHIN T, BRUNO A, LUCIANO A, et al. Image fusion-the ARSIS concept and some successful implementation schemes[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2003, 58(1): 4-18. |
| [7] |
MENG Xiangchao, XIONG Yiming, SHAO Feng, et al. A large-scale benchmark data set for evaluating pansharpening performance: overview and implementation[J]. IEEE Geoscience and Remote Sensing Magazine, 2020, 9(1): 18-52. |
| [8] |
THOMAS C, THIERRY R, LUCIEN W, et al. Synthesis of multispectral images to high spatial resolution: a critical review of fusion methods based on remote sensing physics[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1301-1312. DOI:10.1109/TGRS.2007.912448 |
| [9] |
VIVONE G, MAURO D M, ANDREA G, et al. A new benchmark based on recent advances in multispectral pansharpening: revisiting pansharpening with classical and emerging pansharpening methods[J]. IEEE Geoscience and Remote Sensing Magazine, 2020, 9(1): 53-81. |
| [10] |
VIVONE G, LUCIANO A, JOCELYN C, et al. A critical comparison among pansharpening algorithms[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 53(5): 2565-2586. |
| [11] |
CETIN M, NEBIYE N. Merging hyperspectral and panchromatic image data: qualitative and quantitative analysis[J]. International Journal of Remote Sensing, 2009, 30(7): 1779-1804. DOI:10.1080/01431160802639525 |
| [12] |
LONCAN L, LUIS B A, JOSE M, et al. Hyperspectral pansharpening: a review[J]. IEEE Geoscience and Remote Sensing Magazine, 2015, 3(3): 27-46. DOI:10.1109/MGRS.2015.2440094 |
| [13] |
MOOKAMBIGA A, GOMATHI V. Comprehensive review on fusion techniques for spatial information enhancement in hyperspectral imagery[J]. Multidimensional Systems and Signal Processing, 2016, 27(4): 863-889. DOI:10.1007/s11045-016-0415-2 |
| [14] |
YOKOYA N, CLAAS G, JOCELYN C. Hyperspectral and multispectral data fusion: a comparative review of the recent literature[J]. IEEE Geoscience and Remote Sensing Magazine, 2017, 5(2): 29-56. DOI:10.1109/MGRS.2016.2637824 |
| [15] |
DIAN Renwei, LI Shutao, SUN Bin, et al. Recent advances and new guidelines on hyperspectral and multispectral image fusion[J]. Information Fusion, 2021(69): 40-51. |
| [16] |
肖亮, 刘鹏飞, 李恒. 多源空-谱遥感图像融合方法进展与挑战[J]. 中国图象图形学报, 2020, 25(5): 851-863. XIAO Liang, LIU Pengfei, LI Heng. Progress and challenges in the fusion of multisource spatial-spectral remote sensing images[J]. Journal of Image and Graphics, 2020, 25(5): 851-863. |
| [17] |
LU Han, QIAO Danyu, LI Yongxin, et al. Fusion of China ZY-1 02D hyperspectral data and multispectral data: which methods should be used?[J]. Remote Sensing, 2021, 13(12): 2354. DOI:10.3390/rs13122354 |
| [18] |
张立福, 赵晓阳, 孙雪剑, 等. 高分五号高光谱数据融合方法比较[J]. 遥感学报, 2022, 26(4): 14. ZHANG Lifu, ZHAO Xiaoyang, SUN Xuejian, et al. Comparison of fusion methods on GF-5 hyperspectral data[J]. National Remote Sensing Bulletin, 2022, 26(4): 14. |
| [19] |
REN Kai, SUN Weiwei, MENG Xiangchao, et al. Fusing China GF-5 hyperspectral data with GF-1, GF-2 and Sentinel-2a multispectral data: which methods should be used?[J]. Remote Sensing, 2020, 12(5): 882. DOI:10.3390/rs12050882 |
| [20] |
SARA D, AJAY K M, ARUN K, et al. Hyperspectral and multispectral image fusion techniques for high resolution applications: a review[J]. Earth Science Informatics, 2021, 14(4): 1685-1705. DOI:10.1007/s12145-021-00621-6 |
| [21] |
VIVONE G. Multispectral and hyperspectral image fusion in remote sensing: a survey[J]. Information Fusion, 2022, 89: 405-417. |
| [22] |
LIN H, RAO Yizhou, LI Jun, et al. Pansharpening via detail injection based convolutional neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(4): 1188-1204. DOI:10.1109/JSTARS.2019.2898574 |
| [23] |
LI Kun, ZHANG Wei, YU Dian, et al. HyperNet: a deep network for hyperspectral, multispectral, and panchromatic image fusion[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 30-44. DOI:10.1016/j.isprsjprs.2022.04.001 |
| [24] |
CARPER W, THOMASM L, RALPHW K. The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data[J]. Photogrammetric Engineering and Remote Sensing, 1990, 56(4): 459-467. |
| [25] |
LABEN C A, BERNARD V B. Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening: U.S., 6011875[P]. 2000-01-04.
|
| [26] |
GILLESPIE A R, ANNE B K, RICHARD W. Color enhancement of highly correlated images. Ⅱ. channel ratio and "chromaticity" transformation techniques[J]. Remote Sensing of Environment, 1987, 22(3): 343-365. DOI:10.1016/0034-4257(87)90088-5 |
| [27] |
NUNEZ J, XAVIER O, OCTAVI F, et al. Multiresolution-based image fusion with additive wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote sensing, 1999, 37(3): 1204-1211. DOI:10.1109/36.763274 |
| [28] |
TU Teming, HUANG Pingsheng, HUNG Chungling, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J]. IEEE Geoscience and Remote sensing letters, 2004, 1(4): 309-312. DOI:10.1109/LGRS.2004.834804 |
| [29] |
AIAZZI B, BARONTI S, SELVA M. Improving component substitution pansharpening through multivariate regression of MS + Pan data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10): 3230-3239. DOI:10.1109/TGRS.2007.901007 |
| [30] |
RAHMANI S, STRAIT M, MERKURIJEY D, et al. An adaptive IHS pan-sharpening method[J]. IEEE Geoscience and Remote Sensing Letters, 2010, 7(4): 746-750. DOI:10.1109/LGRS.2010.2046715 |
| [31] |
GOME Z, RICHARD B, JAZAERI A, et al. Wavelet-based hyperspectral and multispectral image fusion[C]//Proceedings of 2001 Geo-Spatial Image and Data Exploitation Ⅱ. Orlando: SPIE, 2001: 36-42.
|
| [32] |
ZHANG Yifan, HE Mingyi. Multi-spectral and hyperspectral image fusion using 3D wavelet transform[J]. Journal of Electronics, 2007, 24(2): 218-224. |
| [33] |
SYLLA D, MINGHELLI-ROMAN A, BLANC P, et al. Fusion of multispectral images by extension of the pansharpening ARSIS method[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 7(5): 1781-1791. |
| [34] |
CHEN Zhao, PU Hanye, WANG Bin, et al. Fusion of hyperspectral and multispectral images: a novel framework based on generalization of pan-sharpening methods[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(8): 1418-1422. DOI:10.1109/LGRS.2013.2294476 |
| [35] |
SELVA M, AIAZZI B, BUTERA F, et al. Hyper-sharpening: a first approach on SIM-GA data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(6): 3008-3024. DOI:10.1109/JSTARS.2015.2440092 |
| [36] |
LU Xiaochen, ZHANG Junping, YU Xiangzhen, et al. Hyper-sharpening based on spectral modulation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(5): 1534-1548. DOI:10.1109/JSTARS.2019.2908984 |
| [37] |
EISMANNM T, HARDIE R C. Application of the stochastic mixing model to hyperspectral resolution enhancement[J]. IEEE transactions on Geoscience and Remote Sensing, 2004, 42(9): 1924-1933. DOI:10.1109/TGRS.2004.830644 |
| [38] |
EISMANN M T, HARDIE R C. Hyperspectral resolution enhancement using high-resolution multispectral imagery with arbitrary response functions[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(3): 455-465. DOI:10.1109/TGRS.2004.837324 |
| [39] |
HARDIE R C, EISMANN M T, WILSON G L. MAP estimation for hyperspectral image resolution enhancement using an auxiliary sensor[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1174-1184. DOI:10.1109/TIP.2004.829779 |
| [40] |
ZHANG Yifan, DE BACKER S, SCHEUNDERS P. Noise-resistant wavelet-based Bayesian fusion of multispectral and hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2009, 47(11): 3834-3843. DOI:10.1109/TGRS.2009.2017737 |
| [41] |
ZHANG Yifan, MEI Shaohui, HE Mingyi. Bayesian fusion of hyperspectral and multispectral images using Gaussian scale mixture prior[C]//Proceedings of 2011 IEEE International Geoscience and Remote Sensing Symposium. Vancouver: IEEE, 2011: 2531-2534.
|
| [42] |
QI Wei, DOBIGEON N, TOURNERET J Y. Fast fusion of multi-band images based on solving a Sylvester equation[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4109-4121. DOI:10.1109/TIP.2015.2458572 |
| [43] |
QI Wei, DOBIGEON N, TOURNERET J Y, et al. R-FUSE: robust fast fusion of multiband images based on solving a Sylvester equation[J]. IEEE Signal Processing Letters, 2016, 23(11): 1632-1636. DOI:10.1109/LSP.2016.2608858 |
| [44] |
QI Wei, BIOUCAS-DIAS J, DOBIGEON N, et al. Hyperspectral and multispectral image fusion based on a sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(7): 3658-3668. DOI:10.1109/TGRS.2014.2381272 |
| [45] |
GROSS H N, SCHOTT J R. Application of spectral mixture analysis and image fusion techniques for image sharpening[J]. Remote Sensing of Environment, 1998, 63(2): 85-94. DOI:10.1016/S0034-4257(97)00090-4 |
| [46] |
MINGHELLI-ROMAN A, MANGOLINI M, PETIT M, et al. Spatial resolution improvement of MeRIS images by fusion with TM images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2001, 39(7): 1533-1536. DOI:10.1109/36.934083 |
| [47] |
BERNE O, HELENS A, PILLERI P, et al. Non-negative matrix factorization pansharpening of hyperspectral data: an application to mid-infrared astronomy[C]//Proceedings of 2010 Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. Reykjavik: IEEE, 2010: 1-4.
|
| [48] |
HUANG Bo, SONG Huihui, CUI Hengbin, et al. Spatial and spectral image fusion using sparse matrix factorization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(3): 1693-1704. |
| [49] |
AKHTAR N, SHAFAIT F, MIAN A. Sparse spatio-spectral representation for hyperspectral image super-resolution[C]//Proceedings of 2014 European Conference on Computer Vision. Cham: Springer, 2014: 63-78.
|
| [50] |
DIAN Renwei, LI Shutao, FANG Leyuan. Non-local sparse representation for hyperspectral image super-resolution[C]//Proceedings of 2016 IEEE International Conference on Image Processing. Phoenix: IEEE, 2016: 2832-2835.
|
| [51] |
FANG Leyuan, ZHUO Haijie, LI Shutao. Super-resolution of hyperspectral image via superpixel-based sparse representation[J]. Neurocomputing, 2018, 273: 171-177. DOI:10.1016/j.neucom.2017.08.019 |
| [52] |
DONG Weisheng, FU Fazuo, SHI Guangming, et al. Hyperspectral image super-resolution via non-negative structured sparse representation[J]. IEEE Transactions on Image Processing, 2016, 25(5): 2337-2352. DOI:10.1109/TIP.2016.2542360 |
| [53] |
SIMOES M, BIOUCAS-DIAS J, ALMEIDA L B, et al. A convex formulation for hyperspectral image superresolution via subspace-based regularization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 53(6): 3373-3388. |
| [54] |
ZHOU Yuan, FENG Liyang, HOU Chunping, et al. Hyperspectral and multispectral image fusion based on local low rank and coupled spectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5997-6009. DOI:10.1109/TGRS.2017.2718728 |
| [55] |
BENDOUMI M A, HE Mingyi, MEI Shaohui. Hyperspectral image resolution enhancement using high-resolution multispectral image based on spectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(10): 6574-6583. DOI:10.1109/TGRS.2014.2298056 |
| [56] |
YOKOYA N, YAIRI T, IWASAKI A. Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 50(2): 528-537. |
| [57] |
LANARAS C, BALTSAYIAS E, SCHINDLER K. Hyperspectral super-resolution by coupled spectral unmixing[C]//Proceedings of 2015 IEEE/CVF International Conference on Computer Vision. Santiago: IEEE, 2015: 3586-3594.
|
| [58] |
DIAN Renwei, LI Shutao, FANG Leyuan, et al. Multispectral and hyperspectral image fusion with spatial-spectral sparse representation[J]. Information Fusion, 2019, 49: 262-270. DOI:10.1016/j.inffus.2018.11.012 |
| [59] |
HAN Xiaolin, YU Jing, XUE Jinghao, et al. Hyperspectral and multispectral image fusion using optimized twin dictionaries[J]. IEEE Transactions on Image Processing, 2020, 29: 4709-4720. DOI:10.1109/TIP.2020.2968773 |
| [60] |
LI Shutao, DIAN Renwei, FANG Leyuan, et al. Fusing hyperspectral and multispectral images via coupled sparse tensor factorization[J]. IEEE Transactions on Image Processing, 2018, 27(8): 4118-4130. DOI:10.1109/TIP.2018.2836307 |
| [61] |
WAN Wei, GUO Weihong, HUANG Haiyang, et al. Nonnegative and nonlocal sparse tensor factorization-based hyperspectral image super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(12): 8384-8394. DOI:10.1109/TGRS.2020.2987530 |
| [62] |
XU Ting, HUANG Tingzhu, DENG Liangjian, et al. Hyperspectral image superresolution using unidirectional total variation with tucker decomposition[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 4381-4398. DOI:10.1109/JSTARS.2020.3012566 |
| [63] |
BU Yuanyang, ZHAO Yongqiang, XUE Jize, et al. Hyperspectral and multispectral image fusion via graph Laplacian-guided coupled tensor decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(1): 648-662. |
| [64] |
WANG Kaidong, WANG Yao, ZHAO Xile, et al. Hyperspectral and multispectral image fusion via nonlocal low-rank tensor decomposition and spectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(11): 7654-7671. DOI:10.1109/TGRS.2020.2983063 |
| [65] |
BORSOI R A, PREVOST C, USEVICH K, et al. Coupled tensor decomposition for hyperspectral and multispectral image fusion with inter-image variability[J]. IEEE Journal of Selected Topics in Signal Processing, 2021, 15(3): 702-717. DOI:10.1109/JSTSP.2021.3054338 |
| [66] |
CHANG Yi, YAN Luxin, ZHAO Xile, et al. Weighted low-rank tensor recovery for hyperspectral image restoration[J]. IEEE Transactions on Cybernetics, 2020, 50(11): 4558-4572. DOI:10.1109/TCYB.2020.2983102 |
| [67] |
XU Yang, WU Zebin, CHANUSSOT J, et al. Nonlocal coupled tensor CP decomposition for hyperspectral and multispectral image fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(1): 348-362. |
| [68] |
KANATSOULIS C I, FU X, SIDIROPOULOS N D, et al. Hyperspectral super-resolution: a coupled tensor factorization approach[J]. IEEE Transactions on Signal Processing, 2018, 66(24): 6503-6517. DOI:10.1109/TSP.2018.2876362 |
| [69] |
ZHANG Guoyong, FU Xiao, HUANG Kejun, et al. Hyperspectral super-resolution: a coupled nonnegative block-term tensor decomposition approach[C]//Proceedings of 2019 IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing. Le Gosier: IEEE, 2019: 470-474.
|
| [70] |
DING Meng, FU Xiao, HUANG Tingzhu, et al. Hyperspectral super-resolution via interpretable block-term tensor modeling[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 15(3): 641-656. |
| [71] |
HE Wei, CHEN Yong, YOKOYA N, et al. Hyperspectral super-resolution via coupled tensor ring factorization[J]. Pattern Recognition, 2022, 122: 108280. DOI:10.1016/j.patcog.2021.108280 |
| [72] |
XU Yang, WU Zebin, CHANUSSOT J, et al. Hyperspectral images super-resolution via learning high-order coupled tensor ring representation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(11): 4747-4760. DOI:10.1109/TNNLS.2019.2957527 |
| [73] |
DIAN Renwei, LI Shutao, FANG Leyuan. Learning a low tensor-train rank representation for hyperspectral image super-resolution[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(9): 2672-2683. DOI:10.1109/TNNLS.2018.2885616 |
| [74] |
LI Xuelong, YUAN Yue, WANG Qi. Hyperspectral and multispectral image fusion via nonlocal low-rank tensor approximation and sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(1): 550-562. |
| [75] |
KILMER M E, BRAMAN K, HAO N, et al. Third-order tensors as operators on matrices: a theoretical and computational framework with applications in imaging[J]. SIAM Journal on Matrix Analysis and Applications, 2013, 34(1): 148-172. DOI:10.1137/110837711 |
| [76] |
DIAN Renwei, LI Shutao. Hyperspectral image super-resolution via subspace-based low tensor multi-rank regularization[J]. IEEE Transactions on Image Processing, 2019, 28(10): 5135-5146. DOI:10.1109/TIP.2019.2916734 |
| [77] |
LONG Jian, PENG Yuanxi, LI Jun, et al. Hyperspectral image super-resolution via subspace-based fast low tensor multi-rank regularization[J]. Infrared Physics & Technology, 2021, 116: 103631. |
| [78] |
张兵. 遥感大数据时代与智能信息提取[J]. 武汉大学学报(信息科学版), 2018, 43(12): 1861-1871. ZHANG Bing. Remotely sensed big data era and intelligent information extraction[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1861-1871. |
| [79] |
李德仁, 张良培, 夏桂松. 遥感大数据自动分析与数据挖掘[J]. 测绘学报, 2014, 43(12): 1211-1216. LI Deren, ZHANG Liangpei, XIA Guisong. Automatic analysis and mining of remote sensing big data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12): 1211-1216. DOI:10.13485/j.cnki.11-2089.2014.0187 |
| [80] |
王德港, 饶伟强, 孙旭, 等. 结合孪生网络和像素配对的高光谱图像异常检测[J]. 中国图象图形学报, 2021, 26(8): 1860-1870. WANG Degang, RAO Weiqiang, SUN Xu, et al. Siamese network with pixel-pair for hyperspectral image anomaly detection[J]. Journal of Image and Graphics, 2021, 26(8): 1860-1870. |
| [81] |
RAO Weiqiang, QU Ying, GAO Lianru, et al. Transferable network with Siamese architecture for anomaly detection in hyperspectral images[J]. International Journal of Applied Earth Observation and Geoinformation, 2022, 106: 102669. DOI:10.1016/j.jag.2021.102669 |
| [82] |
HAN Zhu, HONG Danfeng, GAO Lianru, et al. Deep half-siamese networks for hyperspectral unmixing[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(11): 1996-2000. |
| [83] |
GAO Lianru, HAN Zhu, HONG Danfeng, et al. CyCU-Net: cycle-consistency unmixing network by learning cascaded autoencoders[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-14. |
| [84] |
YAO Jing, HONG Danfeng, XU Lin, et al. Sparsity-enhanced convolutional decomposition: a novel tensor-based paradigm for blind hyperspectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-14. |
| [85] |
GAO Lianru, WANG Zhicheng, ZHUANG Lina, et al. Using low-rank representation of abundance maps and nonnegative tensor factorization for hyperspectral nonlinear unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-17. |
| [86] |
HONG Danfeng, GAO Lianru, YAO Jing, et al. Graph convolutional networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(7): 5966-5978. |
| [87] |
LIU Weibo, WANG Zidong, LIU Xiaohui, et al. A survey of deep neural network architectures and their applications[J]. Neurocomputing, 2017, 234: 11-26. |
| [88] |
PALSSON F, SVEINSSON J R, ULFARSSON M O. Multispectral and hyperspectral image fusion using a 3D-convolutional neural network[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 639-643. |
| [89] |
HAN Xianhua, CHEN Yenwei. Deep residual network of spectral and spatial fusion for hyperspectral image super-resolution[C]//Proceedings of 2019 IEEE International Conference on Multimedia Big Data. Singapore: IEEE, 2019: 266-270.
|
| [90] |
HAN Xianhua, SHI Boxin, ZHENG Yinqiang. SSF-CNN: spatial and spectral fusion with CNN for hyperspectral image super-resolution[C]//Proceedings of 2018 IEEE International Conference on Image Processing. Athens: IEEE, 2018: 2506-2510.
|
| [91] |
HAN Xianhua, ZHENG Yinqiang, CHEN Yenwei. Multi-level and multi-scale spatial and spectral fusion CNN for hyperspectral image super-resolution[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 4330-4339.
|
| [92] |
XU Shuang, AMIRA O, LIU Junmin, et al. HAM-MFN: hyperspectral and multispectral image multiscale fusion network with RAP loss[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(7): 4618-4628. |
| [93] |
ZHOU Feng, HANG Renlong, LIU Qingshan, et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(5): 1549-1558. |
| [94] |
YANG Jingxiang, ZHAO Yongqiang, CHAN J. Hyperspectral and multispectral image fusion via deep two-branches convolutional neural network[J]. Remote Sensing, 2018, 10(5): 800. |
| [95] |
YANG Qing, XU Yang, WU Zebin, et al. Hyperspectral and multispectral image fusion based on deep attention network[C]//Proceedings of 2019 Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing. Amsterdam: IEEE, 2019: 1-5.
|
| [96] |
HU Jinfan, HUANG Tingzhu, DENG Liangjian, et al. Hyperspectral image super-resolution via deep spatiospectral attention convolutional neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(12): 7251-7265. |
| [97] |
LU Xiaochen, YANG Dezheng, JIA Fengde, et al. Coupled convolutional neural network-based detail injection method for hyperspectral and multispectral image fusion[J]. Applied Sciences, 2021, 11(1): 288. |
| [98] |
SUN Weiwei, REN Kai, MENG Xiangchao, et al. A band divide-and-conquer multispectral and hyperspectral image fusion method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-13. |
| [99] |
DIAN Renwei, LI Shutao, GUO Anjing, et al. Deep hyperspectral image sharpening[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(11): 5345-5355. |
| [100] |
SHEN Dunbin, LIU Jianjun, XIAO Zhiyong, et al. A twice optimizing net with matrix decomposition for hyperspectral and multispectral image fusion[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 4095-4110. |
| [101] |
DIAN Renwei, LI Shutao, KANG Xudong. Regularizing hyperspectral and multispectral image fusion by CNN denoiser[J]. IEEE transactions on neural networks and learning systems, 2020, 32(3): 1124-1135. |
| [102] |
WANG Wu, ZENG Weihong, HUANG Yue, et al. Deep blind hyperspectral image fusion[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 4150-4159.
|
| [103] |
WEI Wei, NIE Jiangtao, LI Yong, et al. Deep recursive network for hyperspectral image super-resolution[J]. IEEE Transactions on Computational Imaging, 2020, 6: 1233-1244. |
| [104] |
YANG Jingxiang, XIAO Liang, ZHAO Yongqiang, et al. Variational regularization network with attentive deep prior for hyperspectral-multispectral image fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-17. |
| [105] |
XIE Qi, ZHOU Minghao, ZHAO Qian, et al. Multispectral and hyperspectral image fusion by MS/HS fusion net[C]//Proceedings of 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 1585-1594.
|
| [106] |
QU Ying, QI Hairong, KWAN C. Unsupervised sparse dirichlet-net for hyperspectral image super-resolution[C]//Proceedings of 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 2511-2520.
|
| [107] |
ZHENG Ke, GAO Lianru, LIAO Wenzhi, et al. Coupled convolutional neural network with adaptive response function learning for unsupervised hyperspectral super resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(3): 2487-2502. |
| [108] |
YAO Jing, HONG Danfeng, CHANUSSOT J, et al. Cross-attention in coupled unmixing nets for unsupervised hyperspectral super-resolution[C]//Proceedings of 2020 European Conference on Computer Vision. Cham: Springer, 2020: 208-224.
|
| [109] |
WANG Zhengjue, CHEN Bo, LU Ruiying, et al. FusionNet: an unsupervised convolutional variational network for hyperspectral and multispectral image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 7565-7577. |
| [110] |
QU Ying, QI Hairong, KWAN C, et al. Unsupervised and unregistered hyperspectral image super-resolution with mutual Dirichlet-net[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-18. |
| [111] |
ZHENG Ke, GAO Lianru, HONG Danfeng, et al. NonRegSRNet: a nonrigid registration hyperspectral super-resolution network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-16. |
| [112] |
FU Ying, ZHANG Tao, ZHENG Yinqiang, et al. Hyperspectral image super-resolution with optimized RGB guidance[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2019: 11661-11670.
|
| [113] |
HAN Xiaolin, YU Jing, LUO Jiqiang, et al. Hyperspectral and multispectral image fusion using cluster-based multi-branch BP neural networks[J]. Remote Sensing, 2019, 11(10): 1173. |
| [114] |
LI Jiaxin, ZHENG Ke, YAO Jing, et al. Deep unsupervised blind hyperspectral and multispectral data fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5. |
| [115] |
UEZATO T, HONG D F, YOKOYA N, et al. Guided deep decoder: unsupervised image pair fusion[C]//Proceedings of 2020 European Conference on Computer Vision. Cham: Springer, 2020: 87-102.
|
| [116] |
LIU Shuaiqi, MIAO Siyu, SU Jian, et al. UMAG-Net: a new unsupervised multiattention-guided network for hyperspectral and multispectral image fusion[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 7373-7385. |
| [117] |
ZHANG Lei, NIE Jiangtao, WEI Wei, et al. Unsupervised adaptation learning for hyperspectral imagery super-resolution[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Seattle: IEEE, 2020: 3073-3082.
|
| [118] |
ZHANG Lei, NIE Jiangtao, WEI Wei, et al. Deep blind hyperspectral image super-resolution[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(6): 2388-2400. |
| [119] |
WANG Degang, ZHUANG Lina, GAO Lianru, et al. PDBSNet: pixel-shuffle downsampling blind-spot reconstruction network for hyperspectral anomaly detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-14. |
| [120] |
GAO Jianhao, LI Jie, JIANG Menghui. Hyperspectral and multispectral image fusion by deep neural network in a self-supervised manner[J]. Remote Sensing, 2021, 13(16): 3226. |
| [121] |
LIU Zhe, HAN Xianhua. Deep self-supervised hyperspectral image reconstruction[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2022, 18(3s): 1-20. |
| [122] |
CHEN Wenjing, ZHENG Xiangtao, LU Xiaoqiang. Hyperspectral image super-resolution with self-supervised spectral-spatial residual network[J]. Remote Sensing, 2021, 13(7): 1260. |
| [123] |
GAO Lianru, LI Jiaxin, ZHENG Ke, et al. Enhanced autoencoders with attention-embedded degradation learning for unsupervised hyperspectral image super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-17. |
| [124] |
DUAN Puhong, LAI Jibao, GHAMISI P, et al. Component decomposition-based hyperspectral resolution enhancement for mineral mapping[J]. Remote Sensing, 2020, 12(18): 2903. |
| [125] |
TIWARI P S, PANDE H, AYE M N. Exploiting IKONOS and hyperion data fusion for automated road extraction[J]. Geocarto International, 2010, 25(2): 123-131. |
| [126] |
ZHANG Bing, WU Yuanfeng, ZHAO Boya, et al. Progress and challenges in intelligent remote sensing satellite systems[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 1814-1822. |