2. 武汉大学遥感信息工程学院, 武汉 430079
2. School of Remote Sensing and Engineering, Wuhan University, Wuhan 430079, China
算法的可解释性一直是机器学习领域的一个重要研究问题。可解释性研究的目的在于让人类能理解算法的运行机理，以及做出某种推断的原因。如果一个算法具备良好的可解释性，不仅有利于开发者改进算法，增强使用者对该算法的信任度，同时可进一步在使用中确定是否需要人机交互以避免错误的决策。
近年来，随着深度学习对大量研究问题智能化的推进，可解释人工智能系统(XAI)受到越来越多的重视。由于依赖大量数据误差后向传播而实现参数优化，深度学习模型通常被比喻为“黑箱”，即难以用人类思维直接理解模型的具体含义和行为。事实上，在机器学习领域，复杂的算法(如随机森林)虽然通常比简单的算法(如线性回归)在较难的问题上有更好的表现，但同时也会带来较低的可解释性，如图 1所示。而相比于传统的机器学习模型，深度神经网络中每个隐含层的神经元输出基本由上层输出特征的线性组合经过一个非线性变换产生，神经元的庞大数量、强波动性、复杂组合均使得直接理解深度神经网络参数含义和运作方式变得十分困难。因此，对深度学习算法进行可解释性分析以判断模型的决策原理，也成为一个极具挑战性的问题。
|
| 图 1 模型可解释性与模型复杂度的关系 Fig. 1 The relationship between model interpretability and model complexity |
在影像解译领域，对深度学习模型的可解释性研究主要集中于研究不同的可视化算法，从而以人类可理解的方式揭示一个训练好的深度网络模型所学习的信息。虽然，当前可解释性的研究尚未能使深度学习模型完全透明化，但已有一些实践证明可解释性的研究对理解模型运作机制有良好的促进作用。例如，文献[1]发现，在PASCAL VOC数据[2]上表现良好的模型会以图片上的水印作为判断图中目标物体是马的依据。而文献[3]则发现，神经网络模型会根据图上场景中是否有雪来区分狼和哈士奇。文献[4]则通过图像纹理信息(如给猫的图像换上象皮的纹理)，发现网络模型主要通过纹理来判断目标类别，并基于这一发现改进了分类算法的分类精度及对噪声的稳健性。
因此，通过可视化方法研究深度学习模型的可解释性，对模型的设计、优化和安全性提升等方面有着重要意义。
1 可解释性分析方法深度学习可解释性方法主要探究一个已训练完成的神经网络模型如何进行推断。当前影像解译相关的可解释方法主要可分为：激活值最大化分析法(activation maximization methods)、代理模型分析方法(surrogate models)、归因分析法(attribution methods)、扰动分析法(perturbation-based method)、类激活图分析法(class activation map)和样例分析法(example-based methods)。激活值最大化和代理模型分析法主要通过优化或者近似的手段可视化网络模型学习到的特征；归因分析法、扰动分析法和类激活图分析法生成显著图(saliency map)来反映影像中不同像素对推断结果的影响；样例分析法关注寻找具有代表性的正、负样本。可解释性分析方法可推断模型做出决策的原因，从而为模型改进、数据分析、人机交互以及决策等提供重要辅助信息。
1.1 激活值最大化分析法给定模型中的一个神经元(neuron)，激活值最大化分析法通过反向传播的方式(back-propagation)，合成可最大化该神经元激活值的影像，以可视化该神经元所偏好的模式，从而反映其编码的特征[5]。文献[6]认为，如果一个神经元对某种影像模式有极大的响应值，那么该模式可视为是此神经元所学习内容的一个良好一阶表达。基于这个思想，文献[6]在2009年提出激活值最大化分析法，以获得深度网络中高层特征的定量解释。由于激活值最大化分析法易生成能带来高激活值的不真实图像(图 2)，部分研究向目标函数中加入图像先验约束(如表 1(b)所示)，以减少合成影像中出现难以解释的高频噪声模式[5, 7]，从而通过梯度上升迭代生成人类可理解的图片。比如，L2正则项常用于减少合成图像中数值过高的像素值[8](arXiv: 1506.06579.2015)，则高斯模糊(Gaussian blur)和全变分(total variation)约束则可在优化迭代中惩罚高频信息[9](arXiv: 1506.06579.2015)。在采用全变分正则项的基础上，有学者进一步设计基于数据驱动的图像块先验正则项(arXiv: 1507.02379, 2015)，以约束网络模型可视化中的色彩分布；而文献[9]则引入了随机图像抖动操作(random jitter)[10](arXiv: 1602.03616, 2016)来间接约束图像的合成。虽然施加正则化处理有助于生成可解释性高的特征影像，但生成的影像倾向包含重复性的局部物体特征，故主要反映给定神经元所偏好的局部特征，而无法展现网络是否学习到全局结构信息[5]。因此，部分学者探索加强合成影响的全局一致性(global coherence)，以合成更自然易读的特征影像(arXiv: 1602.03616, 2016)。
相比于仅使用设计人工先验约束，DGN-AM[11]进一步增加了深度生成模型来学习更丰富的先验信息。见表 1(c)和图 3(b)所示，DGN-AM并非仅通过需可视化的模型来直接生成合成影像
|
| 注：蓝色虚线表示前向传播，橙色虚线表示后向传播 图 3 非深度生成式激活值最大分析法和DGN-AM的模型结构对比 Fig. 3 Comparison between the non-deep generative activation maximization method and DGN-AM |
图 4对比了两种基于人工先验的激活值最大分析法和DGN-AM所生成的影像，由图可见DGN-AM可以生成强真实性的合成影像，从而易于使用者识别网络模型所学习的信息。
1.2 代理模型分析方法
代理模型分析法通过使用可解释的算法来局部近似复杂的模型，从而解释复杂模型的预测原理。文献[3]提出了局部解释法LIME(local interpretable model-agnostic explanations)，以一组可解释的模型(如线性模型和决策树等)来解释复杂算法，并证明所提出的LIME可用于任意分类器。如谷歌的Inception网络和支持向量机SVM。文献[13]通过无监督的方法从卷积神经网络的卷积层中自动分离出不同的物体部分模式，从而构造出一个解释图，以揭示卷积神经网络内部的知识层次结构。如图 5所示，解释图中的每个节点代表一个部件模式，且图中的每条边编码共同激活关系和模式间的空间关系。类似地，文献[14]通过决策树对隐藏在神经网络全卷积层中的决策模式进行由精到细的编码，从而对卷积神经网络的预测进行语义级的解释。通过这样的决策树，使用者可以确定不同物体的部件对预测结果的贡献程度。由于寻找近似的代理模型与用于模型压缩的知识蒸馏技术相似，部分学者通过知识蒸馏的方法将庞大的神经网络模型所学习的知识提取到可解释的模型中，从而实现对网络模型的解释。例如，文献[15]利用知识蒸馏技术让决策树模型拥有与深度神经网络相近的知识，以同时获得较好的任务表现和可解释性，而文献[16]采用将卷积神经网络模型所学习的知识蒸馏到一个可解释的加性模型中，从而定量地解释网络模型的预测。
1.3 归因分析法
归因分析法通过给输入图像中的像素赋予贡献值来获得显著性图(saliency map)，以寻找对模型决策影响程度大的特征，从而解释决策器f(x)(即模型)的决策结果[17]。归因分析法与激活值最大化分析法虽然目标相似，即获得显著性图，但归因分析法主要通过传播梯度信息构成显著性图，而无须优化步骤。基于技术流程，归因分析法主要可分为基于梯度的和基于逐层传播的方法。基于梯度的归因分析法以计算模型f(x)对输入图像x的梯度为主，来反映贡献度高的模式。文献[8]采用网络输出f(x)对输入x偏微分的绝对值获得显著性图，以进行敏感度分析，从而确认输入图像中重要性高的模式。为提高显著性图的清晰度，有学者采用
基于逐层传播的方法主要通过设计反向传播的方式(back-propagation)，来寻找输入图像中能最大激活某种特征的模式[21]。DeConvNet[22]使用一个多层反卷积网络[23]，将模型学习到的特征投射回输入像素空间以观察不同阶段神经元所学习到的信息；指导型反向传播技术(guided back-propagation)[24]通过限制负梯度的回传，以剔除可视化的特征中的噪声; 文献[25]提出激励反向传播(excitation backprop)，并通过一个概率赢家通吃的过程(probabilistic winner-take-all process)在网络中传递自上而下的信号，来获得类似显著性图的网络注意力图；逐层相关性传播技术(layer-wise relevance propagation)[26]借由设定局部反向传播规则来计算相邻层间神经元的相关度，并根据相关度将高层信息传播到低层；DeepLIFT[27]设计}“中性”参考输入(reference input)以通过输入图与参考图之间的差异来解释模型的决策，由此来减少由于函数饱和问题造成的反向传播结果的伪影。虽然基于梯度的方法与基于逐层信号传播的方法在获得显著性图的思路上有所不同，但文献[20]指出LRP和DeePLIFT实际上是通过特殊的梯度公式来获得显著性图，并给出了LRP和DeepLIFT对应的改写梯度公式，见表 2。
即代表与g有关的修改后的链式法则，其具体定义可参考文献[1.4 扰动分析法
扰动分析法(perturbation-based method)通过对输入使用扰动或者遮挡的操作，观察预测的变化，来判断输入中与给定类别关系紧密的模式，从而解释模型预测的机理。文献[22]用灰色块遮挡输入图像的不同部分，从而证明了模型识别了图像中物体的位置，而非只是使用了物体周围的上下文信息。沿用文献[29]所提出的基于遮挡信息差模型解释技术，文献[30]用滑动窗口的方法对输入图像进行区域采样，来寻找对预测结果影响大的图像块。给定一个训练好的分类器、一张输入图像与其对应的类别，文献[31]通过迭代优化来获得一个对分类影响最大的最小区域掩膜，以代表的区域是分类器决策时所依赖的显著区，从而反映分类模型的决策原理。基于相同的掩膜扰动思路，文献[32]提出训练掩膜生成模型来寻找对分类器分类影响较大的输入图像中的掩膜M，且M所遮挡的区域满足两个条件：①该区域是分类器能进行可靠预测所依赖的最小区域；②当该区域的信息被移除时，会破坏分类的可靠性。类似地，文献[33]提出极端扰动(extremal perturbation)的概念，即在固定区域的所有扰动中对网络预测有最大影响的扰动。文献[33]通过寻找满足一定平滑度的极端扰动来确定输入中的显著区域。与文献[31]和文献[32]等依赖优化的扰动分析方法不同，文献[34]首先随机生成多种掩膜与其对应的被遮挡输入，然后基于输出的分数计算不同掩膜对应的权重，最后对掩膜进行加权平均获得显著性图。扰动分析法的思想不仅可用于解释神经网络模型，也可用于评估可解释性方法的可靠性，及弱监督或者全监督的目标定位任务[35-37]。
1.5 类激活图分析法2016年，文献[38]提出类激活映射技术(class activation mapping，CAM)从分类神经网络中定位某个特定类在输入图像上的“区别性”区域，从而实现弱监督的目标定位。由于类激活映射技术获得的类激活图可视为类似归因分析法中的显著性图，故该技术也被用于解释神经网络的预测。Grad-CAM[39]将梯度信息与CAM结合，通过使用给定卷积层(通常为最后一层)的梯度信息为每个神经元对应的特征图计算权重，然后加权组合特征图以获得图像中与预测目标关系紧密的重要区域，从而使CAM技术可以为任意使用全连接的卷积神经网络提供“视觉解释”。如式(1)所示，Grad-CAM通过平均类别c的预测值yc对第k个特征图中的每个像素Aijk的梯度，来计算特征图Ak对应的权重wkc；然后利用式(2)加权平均获得类激活图MGrad-CAMc。由Grad-CAM的计算可发现，类激活图分析方法的主要关键在于如何获得合理的权重wkc
(1)
(2)
基于Grad-CAM，Grad-CAM++[40]使用模型中最后一层特征的正偏导数的加权组合作为权重，来累加不同神经元对应的特征图，从而能更好定位图多个同类实例的类激活图。Integrated Grad-CAM[41]认为平均梯度会低估模型学习到的特征对预测的贡献，因此采用对Grad-CAM中的梯度项进行路径积分来获得类激活图。由于神经网络中的非线性激活层可能会因饱和而在计算梯度时造成噪声和梯度消失，Score-CAM[42]探索了不依赖梯度信息进行权重计算的技术。Score-CAM结合扰动分析法与CAM，通过使用前向传播中目标类别在激活图的分数来计算权重。具体而言，Score-CAM将给定卷积层的N个特征图视为掩膜，用于屏蔽输入的部分像素；然后将未屏蔽的像素输入网络模型，从而计算与原图预测分数的差值; 最后对这N个差值使用softmax函数进行归一化，从而获得N个特征图对应的权重。SS-CAM (arXiv: 2006.14255, 2020)向Score-CAM计算权重值的公式中加入平滑操作，以获得更清晰的类激活图。Group-CAM (arXiv: 2103.13859, 2021)采用“分割-变换-合并”策略来生成类激活图。Group-CAM首先将多通道的特征图切分成若干组，然后利用Grad-CAM对每组特征图过行加权平均，并对平均结果进行去噪和归一化操作，获得初始掩码，以用于保留部分输入的子像素(亦即屏蔽部分输入)。之后，与Score-CAM相似，将保留下的像素输入到网络中，以计算相比原输入置信度分数的变化。最后，用分数变化的差值对掩码图进行加权求和，形成最终的类激活图。相比于Score-CAM和Group-CAM需要生成掩码，Ablation-CAM[43]采用直接归零指定特征图来计算置信度变化值，从而获得该特征图对目标类别的重要性wkc。
1.6 样例分析法样例分析法是一种根据给定法则生成或者从训练集中选取对模型预测有显著影响的样本，从而解释模型决策的方法。样例分析法所寻找的样本类型主要有表 3所示的几种。给定一个模型，基于原型的可解释性法通常关注目标类别的最具代表性的样本，而基于影响样本和反事实样本的方法则更关注模型对某个输入进行分类决策的依据。因此，基于原型的方法可给出较为全局的解释，而基于影响样本和反事实样本的方法可偏向给出局部解释。早期样例分析法主要寻找原型样本[44-47]，文献[48]认为仅使用原型样本集来解释模型只适用于较为干净的数据，而面对存在噪声的真实数据，依赖原型样本容易导致不正确的解释。因此，文献[48]提出同时使用原型样本和不能被原型样本集概括的批判样本来对模型进行解释，并使用最大平均差异指标(maximum mean discrepancy)完成两种样本的选取。文献[49]认为原型不一定必须在于已有的观测数据中，并使用自编码器(auto-encoder)实现在隐空间中学习原型样本的低维编码，然后通过解码器(decoder)还原出对应的原型样本图像。
| 类型 | 定义 |
| 原型样本(prototype) | 数据中具有代表性的样本 |
| 批判样本(criticism) | 难以被原型样本代表的样本 |
| 影响样本(influential) | 训练数据中，对模型参数学习或者预测有重大影响的样本 |
| 反事实样本(counterfactual) | 一个样本加入微小扰动后，其对应模型预测发生变化，被扰动修改后的样本即反事实样本 |
为提供局部解释，在经典机器学习可解释性算法里，有大量工作采用删减诊断法(deletion diagnostics)，即删除某些样本后重新训练模型，来确定对模型训练影响较大的样本[50]；而在深度学习领域，文献[51]则提出使用基于一阶泰勒近似的影响函数(influence function)以在无须重新训练模型的情况下，评估剔除某个训练样本对模型的影响。文献[52]进一步验证了影响函数不仅可选取单独的影响样本，也可用于选取影响样本群。
与解释模型做出某种预测的原因的方法不同，基于反事实样本的可解释性方法主要考虑如何通过轻微的扰动，使给定输入对应的模型预测结果发生预定的改变[53-54]。虽然基于反事实样本的方法在金融、医疗健康等方面有着大量的应用(arXiv: 2010.10596, 2020.)，但在影像解译领域，由于其关注如何修改输入以获得期望的预测，故常用于模型安全问题，而非模型解释。然而，仍有部分工作通过反事实样例来探究为何模型对输入不做出某种预测，从而解释模型决策的原理。如文献[55]提出寻找反事实视觉样本，从而研究模型做不同决策时所关注的目标特征的不同。
2 解释质量评估对可解释性分析方法的评估主要可分为定性和定量评估。定性评估指标包括连贯性(coherence)、类敏感性(class sensitivity)和连续性(explanation continuity)[5, 7, 20]，下面列出了几种常用指标的定义。
(1) 连贯性(coherence)：指可解释性方法所给出与预测密切相关的输入模式应当是具有区分性的特征。如对归因分析法而言，其所给出的显著性图所高亮显示的像素应该集中于具有代表性的特征，而非噪声。
(2) 类敏感性(class sensitivity)：指可解释性方法给出的解释应该对类别敏感，对不同的类别可给出不同的解释。
(3) 选择性(selectivity)：对于一张输入影像而言，当方法所生成的显著性图中被认为重要的像素被删除后，对应的模型预测类别概率应当下降。
(4) 连续性(explanation continuity)：对于相似的输入，可解释性方法应给出相似的解释。
(5) 不变性(implementation invariance)：当两个待解释模型等价时，即对同一输入给出相同预测结果，可解释性方法应该对这两个模型给出相同的解释。
(6) N阶敏感性(sensitivity-N)：对于显著性图的分析方法而言，任给N个像素，若其对应的分值之和等于输入中遮蔽这些信号后预测值的变化差值，则该方法认为满足N阶敏感性。式(3)给出了N阶敏感性的定义
(3)
式中，c是预测的类别；fc(x)为模型对输入x的预测值；而Sic是像素xi对应的显著国的中的分数。
定量评估的方法有ROAR法(remove and retrain)，KAR法(keep and retrain)，网络分解法等[56-57]。ROAR法和KAR法由文献[57]提出，这两种方法衡量当被可解释性方法给出的重要特征被移除或者针对性保留时，对模型的预测造成影响，且常用于基于显著性图的可解释性方法。这两种方法的具体操作如下。
(1) ROAR法：该评估方法研究当显著性图中最重要的N%个像素特征被移除时，重新训练的模型的精度变化。
(2) KAR法：该评估方法研究当显著性图中最不重要的N%个像素特征被移除时，重新训练的模型的精度变化。
文献[38]和文献[39]通过使用生成的类激活图进行弱监督的目标定位任务，以证明其类激活图的解释准确度。
虽然上述评估指标与方法能在一定程度上反映可解释性方法的表现，但这些指标对算法的衡量通常并不全面，具有一定的局限性。比如，一些指标只适用于简单或者特定类型的算法，并且验证一个方法是否普遍地满足定性评估指标并不容易；同时，并非满足的指标越多，该方法就越可靠[58]。不同工作所使用的定量评估方法也并不完全统一，使用者难以进行对比，故现有衡量指标难以广泛用于评估多种算法的解释质量。因此，如何设计适用性更广泛、更具统一性的评估方法尚待进一步研究。
3 相关开源软件随着深度学习的发展，可解释性领域中已有部分工作提供了公开可用的工具和代码。本节主要给出部分可解释性方法的开源软件和代码，以供研究者深入了解当前可解释性研究的进展。文献[59]提供了基于逐层相关性传播技术的工具箱(layer-wise relevance propagation)；文献[60]发布了基于Keras框架的开源可解释库INNvestigate，其中包含SmoothGrad、DeConvNet和深度泰勒分解多种经典归因分析法；文献[61]将多种可解释性方法实现为Tensorflow (arXiv: 1603.04467, 2015.)的回调函数，以简化可解释性方法的使用；有文献提出了基于Pytorch[62]的Captum可解释性方法库(arXiv: 2009.07896, 2020)，其中包含了多种基于梯度和扰动的可解释性分析算法，以及相关的一组评估指标，并且提供了基于库的交互式可视化工具Captum Insights；还有学者提出了开源的AI Explainability 360工具包(arXiv: 1909.03012, 2019.)，其中包含了较为全面的可解释性算法种类。除了上述集合了多种解释性方法的开源库，大量研究工作也开源了其相关方法的代码，如LIME[3]、IG[19]和Group-CAM (arXiv: 2103.13859, 2021.)等。但由于不同工作使用的深度学习框架并不统一，前沿工作的方法不易于整合入已有开源库中，因此，研究具有较强扩展性的开源库对可解释性研究领域有重要意义。
4 可解释深度学习与遥感影像近年来，人工智能算法极大地推进了测绘遥感技术的发展[63-64]，尤其是在遥感智能解译任务上，取得了显著的性能提升[65]。随着影像解译可解释性方法研究的进展，部分学者使用已有可解释性方法对遥感影像进行分析和算法改进。当前深度学习可解释性研究主要面向自然影像，而对遥感影像的特性缺少相关的研究，故如何针对遥感影像设计可靠的可解释性算法仍需深入的探索。本节以使用ResNet50[66]分类网络进行土地利用分类为例，开展相关可解释性分析试验，以展示如何将可解释性方法运用于遥感影像分析中。
4.1 试验设置试验使用UC Merced Land Use数据集[67]对ResNet50网络模型进行训练和测试。该数据集共包含21种土地利用类别，每个类别有100张像素分辨率为1英尺且尺寸为256×256的图像。本试验将每个类别数据的80%划分为训练数据，20%划分为测试数据，从而得到1680个训练样本和420个测试样本。试验使用一张GeForce RTX 3090对ResNet50进行训练，并使用IG[19]、指导型反向传播技术(GuidedBP)[24]、SmoothGrad (arXiv: 1706.03825, 2017)、遮挡分析技术(occlusion)[22]、Grad-CAM+ +[40]和Score-CAM[42]对训练好的ResNet50模型进行可解释性分析。
4.2 试验结果与分析图 6给出了由IG、指导型反向传播技术(GuidedBP)、SmoothGrad、遮挡分析技术(Occlusion)、Grad-CAM+ +和Score-CAM共6种可解释性方法生成的显著性图。由图 6可见，6种可解释性方法生成的显著性图具有一定的一致性。试验中所比较的方法皆能对不同的目标给出对应的解释，故都有较好的类敏感性。这6种方法的显著性图虽然都能突出目标物体的代表性特征，但也会在不同程度给噪声高分值。相较于其他方法而言，由于基于类激活图技术的Grad-CAM+ +与Score-CAM通常以区域响应的形式定位目标物体，故在面对目标分布范围广的影像时，易给更多的噪声赋予高分值，如图 6(c)、(d)、(f)、(g)的显著性图所示；而面对目标较集中的情况，则能显示出较好的连贯性，甚至在一些场景中给出更好的显著性图(如图 6(b))。因此Grad-CAM++与Score-CAM的连贯性会随场景特性发生明显变化。
|
| 图 6 不同可解释性方法生成的显著性图对比(显著性图中，像素颜色越深(黑)，重要性越高；颜色越浅(白)，重要性越低) Fig. 6 Comparison of saliency maps generated by different interpretability methods (In the saliency map, the darker the pixel color (black), the higher the importance; and the lighter the color (white), the lower the importance) |
进一步详细横向对比多个方法可以发现，作为归因分析法的IG、GuidedBP和SmoothGrad，可给出细节较多的显著性图，且GuidedBP和SmoothGrad比IG更为清晰，噪声更少；与IG等方法不同，遮挡分析法、Grad-CAM++和Score-CAM生成的显著性图主要寻找对决策重要性高的片状区域。因此，当面对具体物体的分类解释时(如图 6(a)原图被分为飞机类)，这后3种方法可以给出较好解释，即分类器的决策依赖目标物体所在区域的信息；然而，当面对用地类型和场景分类时(如图 6(c)和(g))，由于与决策相关的信息在影像中较为分散，遮挡分析法、Grad-CAM+ +和Score-CAM难以确定对决策重要的区域，故给出的显著性图不能较好地解释分类器的决策原理。进一步纵向对比不同影像的解释结果可发现，分类器对于不同的影像特性依赖不同的信息。由图 6(a)和(b)的试验结果可见，ResNet50分类器主要关注目标物体所覆盖的像素，来判断场景中物体的类别。图 6(c)和(d)的显著性图说明，在对农业用地与森林用地分类时，分类器主要依赖图中的纹理信息。换言之，分类器在对大面积用地进行分类时，影像中土地的纹理信息具有较高的重要性。与前两种情况不同，图 6(e)、(f)、(g)结果则说明，与场景关系密切的物体是分类器进行决策的重要依据。例如，在多个可解释性方法的显著性图中，十字路口的交叉中心、飞机跑道的地标和港口的船舶对决策都有较高的重要性。
综上所述，当前的可解释性方法可用于遥感影像土地利用分类模型，且能解释分类模型对不同类型的影像进行决策时，所依赖的不同信息。然而，在对大场景用地分类时，部分方法的适用性仍旧有限。
5 未来与展望可解释性研究是当前深度学习领域的研究热点之一，对“黑箱”深度学习网络模型的可解释性研究在优化模型结构、增强安全性、提供决策信息等方面有着重要意义。本文总结了当前影像解译领域中的6种主流可解释性方法、相关定性与定量评估方法，以及部分集成了6种可解释性方法的开源库。为验证当前可解释性方法在遥感影像解译研究中的适用性，本文给出了部分具有代表性的方法在遥感数据上进行分类网络模型的可解释性分析。尽管试验表明当前可解释性方法可用于光学遥感影像分析，但由于当前可解释性方法的研究主要集中于普通自然影像，已有可解释性方法对遥感影像中大型场景的适用性有限，并且无法运用先验知识集成地学抽象规则，也难以为非RGB遥感影像(如InSAR数据和高光谱影像等)的解译提供可靠解释。同时，由于当前可解释性方法以解释分类模型为主，而对如目标检测和语义分割等高级任务的可解释性研究较少，现有可解释性方法适用任务范围狭窄，难以与当前智能AI的发展齐头并进。故而，要可靠地解释用于遥感影像分析的深度网络模型，亟须研究涵盖多任务多遥感影像种类，且可嵌入遥感地学先验知识的可解释性统一框架，从而为模型结构优化提供科学依据。
| [1] |
LAPUSCHKIN S, WÄLDCHEN S, BINDER A, et al. Unmasking clever hans predictors and assessing what machines really learn[J]. Nature Communications, 2019, 10(1): 1096. DOI:10.1038/s41467-019-08987-4 |
| [2] |
EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The PASCAL Visual Object Classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338. DOI:10.1007/s11263-009-0275-4 |
| [3] |
RIBEIRO M T, SINGH S, GUESTRIN C. "Why should I trust you?": explaining the predictions of any classifier[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. California: ACM, 2016: 1135-1144.
|
| [4] |
GEIRHOS R, RUBISCH P, MICHAELIS C, et al. ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness[C]//Proceedings of the 7th International Conference on Learning Representations. New Orleans: ICLR, 2019.
|
| [5] |
NGUYEN A, YOSINSKI J, CLUNE J. Understanding neural networks via feature visualization: a survey[M]//SAMEK W, MONTAVON G, VEDALDI A, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Cham: Springer, 2019: 55-76.
|
| [6] |
ERHAN D, BENGIO Y, COURVILLE A, et al. Visualizing higher-layer features of a deep network[R]. University of Montreal, 2009.
|
| [7] |
NGUYEN A, YOSINSKI J, CLUNE J. Deep neural networks are easily fooled: high confidence predictions for unrecognizable images[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015: 427-436.
|
| [8] |
SIMONYAN K, VEDALDI A, ZISSERMAN A. Deep inside convolutional networks: Visualising image classification models and saliency maps[C]//Proceedings of the 2nd International Conference on Learning Representations. Banff: ICLR, 2014.
|
| [9] |
MAHENDRAN A, VEDALDI A. Visualizing deep convolutional neural networks using natural pre-images[J]. International Journal of Computer Vision, 2016, 120(3): 233-255. DOI:10.1007/s11263-016-0911-8 |
| [10] |
Inceptionism: going deeper into neural networks[EB/OL]. [2022-04-17]. Google Research Blog. 2015. https://news.ycombinator.com/item?id=9736598.
|
| [11] |
NGUYEN A, DOSOVITSKIY A, YOSINSKI J, et al. Synthesizing the preferred inputs for neurons in neural networks via deep generator networks[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona: Curran Associates Inc., 2016: 3395-3403.
|
| [12] |
DENG Jia, DONG Wei, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE, 2009: 248-255.
|
| [13] |
ZHANG Quanshi, CAO Ruiming, SHI Feng, et al. Interpreting CNN knowledge via an explanatory graph[C]//Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence and Thirtieth Innovative Applications of Artificial Intelligence Conference and Eighth AAAI Symposium on Educational Advances in Artificial Intelligence. New Orleans: AAAI Press, 2018: 546.
|
| [14] |
ZHANG Quanshi, YANG Yu, MA Haotian, et al. Interpreting CNNs via decision trees[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 6254-6263.
|
| [15] |
LIU Xuan, WANG Xiaoguang, MATWIN S. Improving the interpretability of deep neural networks with knowledge distillation[C]//Proceedings of 2018 IEEE International Conference on Data Mining Workshops (ICDMW). Singapore: IEEE, 2018: 905-912.
|
| [16] |
CHEN Runjin, CHEN Hao, HUANG Ge, et al. Explaining neural networks semantically and quantitatively[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 9186-9195.
|
| [17] |
ANCONA M, CEOLINI E, ÖZTIRELI C, et al. Towards better understanding of gradient-based attribution methods for deep neural networks[C]//Proceedings of the 6th International Conference on Learning Representations. Vancouver: ICLR, 2018.
|
| [18] |
MONTAVON G, LAPUSCHKIN S, BINDER A, et al. Explaining nonlinear classification decisions with deep taylor decomposition[J]. Pattern Recognition, 2017, 65: 211-222. DOI:10.1016/j.patcog.2016.11.008 |
| [19] |
SUNDARARAJAN M, TALY A, YAN Qiqi. Axiomatic attribution for deep networks[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney: JMLR. org, 2017: 3319-3328.
|
| [20] |
ANCONA M, CEOLINI E, ÖZTIRELI C, et al. Gradient-based attribution methods[M]//SAMEK W, MONTAVON G, VEDALDI A, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Cham: Springer, 2019: 169-191.
|
| [21] |
KINDERMANS P J, HOOKER S, ADEBAYO J, et al. The (Un) reliability of saliency methods[M]//SAMEK W, MONTAVON G, VEDALDI A, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Cham: Springer, 2019: 267-280.
|
| [22] |
ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich: Springer, 2014: 818-833.
|
| [23] |
ZEILER M D, TAYLOR G W, FERGUS R. Adaptive deconvolutional networks for mid and high level feature learning[C]//Proceedings of 2011 International Conference on Computer Vision. Barcelona: IEEE, 2011: 2018-2025.
|
| [24] |
SPRINGENBERG J T, DOSOVITSKIY A, BROX T, et al. Striving for simplicity: The all convolutional net[C]//Proceedings of the 3rd International Conference on Learning Representations. San Diego: ICLR, 2015.
|
| [25] |
ZHANG Jianming, BARGAL S A, LIN Zhe, et al. Top-down neural attention by excitation backprop[J]. International Journal of Computer Vision, 2018, 126(10): 1084-1102. DOI:10.1007/s11263-017-1059-x |
| [26] |
MONTAVON G, BINDER A, LAPUSCHKIN S, et al. Layer-wise relevance propagation: an overview[M]//SAMEK W, MONTAVON G, VEDALDI A, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Cham: Springer, 2019: 193-209.
|
| [27] |
SHRIKUMAR A, GREENSIDE P, KUNDAJE A. Learning important features through propagating activation differences[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney: JMLR. org, 2017: 3145-3153.
|
| [28] |
BACH S, BINDER A, MONTAVON G, et al. On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation[J]. PLoS One, 2015, 10(7): e0130140. ()
|
| [29] |
ROBNIK-ŠIKONJA M, KONONENKO I. Explaining classifications for individual instances[J]. IEEE Transactions on Knowledge and Data Engineering, 2008, 20(5): 589-600. DOI:10.1109/TKDE.2007.190734 |
| [30] |
ZINTGRAF L M, COHEN T S, ADEL T, et al. Visualizing deep neural network decisions: Prediction difference analysis[C]//Proceedings of the 5th International Conference on Learning Representations. Toulon: ICLR, 2017.
|
| [31] |
FONG R C, VEDALDI A. Interpretable explanations of black boxes by meaningful perturbation[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 3449-3457.
|
| [32] |
DABKOWSKI P, GAL Y. Real time image saliency for black box classifiers[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017: 6970-6979.
|
| [33] |
FONG R, PATRICK M, VEDALDI A. Understanding deep networks via extremal perturbations and smooth masks[C]//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 2950-2958.
|
| [34] |
PETSIUK V, DAS A, SAENKO K. Rise: randomized input sampling for explanation of black-box models[C]//Proceedings of British Machine Vision Conference 2018. Newcastle: BMVA Press, 2018: 151.
|
| [35] |
SINGH K K, LEE Y J. Hide-and-seek: forcing a network to be meticulous for weakly-supervised object and action localization[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 3544-3553.
|
| [36] |
WANG Xiaolong, SHRIVASTAVA A, GUPTA A. A-fast-RCNN: hard positive generation via adversary for object detection[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 3039-3048.
|
| [37] |
WEI Yunchao, FENG Jiashi, LIANG Xiaodan, et al. Object region mining with adversarial erasing: a simple classification to semantic segmentation approach[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 6488-6496.
|
| [38] |
ZHOU Bolei, KHOSLA A, LAPEDRIZA A, et al. Learning deep features for discriminative localization[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2921-2929.
|
| [39] |
SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 618-626.
|
| [40] |
CHATTOPADHAY A, SARKAR A, HOWLADER P, et al. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks[C]//Proceedings of 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe: IEEE, 2018: 839-847.
|
| [41] |
SATTARZADEH S, SUDHAKAR M, PLATANIOTIS K N, et al. Integrated Grad-CAM: sensitivity-aware visual explanation of deep convolutional networks via integrated gradient-based scoring[C]//Proceedings of ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Toronto: IEEE, 2021: 1775-1779.
|
| [42] |
WANG Haofan, WANG Zifan, DU Mengnan, et al. Score-CAM: score-weighted visual explanations for convolutional neural networks[C]//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle: IEEE, 2020: 111-119.
|
| [43] |
DESAI S, RAMASWAMY H G. Ablation-CAM: visual explanations for deep convolutional network via gradient-free localization[C]//Proceedings of 2020 IEEE Winter Conference on Applications of Computer Vision. Snowmass: IEEE, 2020: 972-980.
|
| [44] |
AAMODT A, PLAZA E. Case-based reasoning: foundational issues, methodological variations, and system approaches[J]. AI Communications, 1994, 7(1): 39-59. DOI:10.3233/AIC-1994-7104 |
| [45] |
KUNCHEVA L I, BEZDEK J C. Nearest prototype classification: clustering, genetic algorithms, or random search?[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 1998, 28(1): 160-164. DOI:10.1109/5326.661099 |
| [46] |
BIEN J, TIBSHIRANI R. Prototype selection for interpretable classification[J]. The Annals of Applied Statistics, 2011, 5(4): 2403-2424. |
| [47] |
KIM B, RUDIN C, SHAH J. The bayesian case model: a generative approach for case-based reasoning and prototype classification[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal: MIT Press, 2014: 1952-1960.
|
| [48] |
KIM B, KHANNA R, KOYEJO O. Examples are not enough, learn to criticize! criticism for interpretability[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona: Curran Associates Inc., 2016: 2288-2296.
|
| [49] |
LI O, LIU Hao, CHEN Chaofan, et al. Deep learning for case-based reasoning through prototypes: a neural network that explains its predictions[C]//Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans: AAAI, 2018: 3530-3537.
|
| [50] |
COOK R D. Detection of influential observation in linear regression[J]. Technometrics, 1977, 19(1): 15-18. |
| [51] |
KOH P W, LIANG P. Understanding black-box predictions via influence functions[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney: JMLR. org, 2017: 1885-1894.
|
| [52] |
KOH P W, ANG K S, TEO H H K, et al. On the accuracy of influence functions for measuring group effects[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2019: 5254-5264.
|
| [53] |
YUAN Xiaoyong, HE Pan, ZHU Qile, et al. Adversarial examples: attacks and defenses for deep learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(9): 2805-2824. DOI:10.1109/TNNLS.2018.2886017 |
| [54] |
VAN LOOVEREN A, KLAISE J. Interpretable counterfactual explanations guided by prototypes[C]//Proceedings of Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Bilbao: Springer, 2021: 650-665.
|
| [55] |
GOYAL Y, WU Ziyan, ERNST J, et al. Counterfactual visual explanations[C]//Proceedings of the 36th International Conference on Machine Learning. Long Beach: ICML, 2019: 2376-2384.
|
| [56] |
BAU D, ZHOU Bolei, KHOSLA A, et al. Network dissection: quantifying interpretability of deep visual representations[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 3319-3327.
|
| [57] |
HOOKER S, ERHAN D, KINDERMANS P J, et al. A benchmark for interpretability methods in deep neural networks[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019: 9737-9748.
|
| [58] |
MONTAVON G. Gradient-based vs. propagation-based explanations: an axiomatic comparison[M]//SAMEK W, MONTAVON G, VEDALDI A, et al. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Cham: Springer, 2019: 253-265.
|
| [59] |
LAPUSCHKIN S, BINDER A, MONTAVON G, et al. The LRP toolbox for artificial neural networks[J]. The Journal of Machine Learning Research, 2016, 17(1): 3938-3942. |
| [60] |
ALBER M, LAPUSCHKIN S, SEEGERER P, et al. iNNvestigate neural networks![J]. Journal of Machine Learning Research, 2019, 1-8. |
| [61] |
MEUDEC R. tf-explain[EB/OL]. [2022-04-01]. https://pypi.org/project/tf-explain/.
|
| [62] |
PASZKE A, GROSS S, MASSA F, et al. PyTorch: an imperative style, high-performance deep learning library[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019: 8026-8037.
|
| [63] |
李德仁, 童庆禧, 李荣兴, 等. 高分辨率对地观测的若干前沿科学问题[J]. 中国科学: 地球科学, 2012, 42(6): 805-813. LI Deren, TONG Qingxi, LI Rongxing, et al. Current issues in high-resolution earth observation technology[J]. Scientia Sinica Tertae, 2012, 42(6): 805-813. |
| [64] |
龚健雅. 人工智能时代测绘遥感技术的发展机遇与挑战[J]. 武汉大学学报(信息科学版), 2018, 43(12): 1788-1796. GONG Jianya. Chances and challenges for development of surveying and remote sensing in the age of artificial intelligence[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1788-1796. |
| [65] |
龚健雅, 许越, 胡翔云, 等. 遥感影像智能解译样本库现状与研究[J]. 测绘学报, 2021, 50(8): 1013-1022. GONG Jianya, XU Yue, HU Xiangyun, et al. Status analysis and research of sample database for intelligent interpretation of remote sensing image[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8): 1013-1022. DOI:10.11947/j.AGCS.2021.20210085 |
| [66] |
HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 770-778.
|
| [67] |
YANG Yi, NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification[C]//Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. California: ACM, 2010: 270-279.
|