文章快速检索  
  高级检索
自然资源要素智能解译研究进展与方向
张继贤1, 顾海燕2, 杨懿2, 张鹤1, 李海涛2, 韩文立1, 沈晶1     
1. 国家测绘产品质量检验测试中心, 北京 100830;
2. 中国测绘科学研究院, 北京 100830
摘要:自然资源要素解译是自然资源调查监测工作中最基础、投入工作量最大、技术难度最高的工作, 存在可解译类别少、要素边界不准不全、类别属性可靠性不高等诸多挑战。本文从自然资源调查监测应用场景出发, 首先从要素解译到场景要素耦合的解译范式、数据驱动到知识驱动的解译方法、人工目视到人机协同的解译手段3个方面阐述了自然资源要素自动解译的研究进展; 然后探讨了6个重点研究方向及其研究内容, 包括场景要素耦合解译、知识驱动语义理解、人机协同智能解译、内外一体与三维环境解译、关键参数精准计算与定量反演, 以及高可信质量控制与真实性验证; 最后进行了总结与展望, 以期为自然资源要素智能解译研究提供思路, 推动解决困扰遥感影像自动解译方法在自然资源调查监测业务应用中的瓶颈问题。
关键词自然资源调查监测    智能解译    场景要素耦合解译    语义理解    人机协同    内外一体解译    参数反演    真实性验证    
Research progress and trend of intelligent interpretation for natural resources features
ZHANG Jixian1, GU Haiyan2, YANG Yi2, ZHANG He1, LI Haitao2, HAN Wenli1, SHEN Jing1     
1. National Quality Inspection and Testing Center for Surveying and Mapping Products, Beijing 100830, China;
2. Chinese Academy of Surveying and Mapping, Beijing 100830, China
Abstract: Interpretation of natural resources features is the most basic, most widely used, most involved, and most technically difficult task in survey and monitoring work. It faces many challenges such as application understanding, accurate interpretation, and fine interpretation. Starting from the application scenarios of natural resource survey and monitoring, firstly, this article elaborates its research progress from three aspects: scene-features coupling interpretation mode, semantic understanding expression cognition, and human-computer collaborative interpretation methods. Then, it discusses six key research directions and basic ideas, including scene-feature coupling interpretation, knowledge-driven semantic understanding, human-machine collaborative intelligent interpretation, indoor and outdoor integrated and 3D environment interpretation, quantitative inversion of key parameters, high-confidence quality control and authenticity verification. Finally, summaries are given. This paper aims to provide some ideas for the research on intelligent interpretation of natural resources survey and monitoring features, and promote the solution of bottlenecks that plague the application of remote sensing image automatic interpretation methods in natural resource survey and monitoring applications.
Key words: natural resources survey and monitoring    intelligent interpretation    scene-features coupling interpretation    semantic understanding    human-computer collaboration    indoor and outdoor integrated interpretation    parameter inversion    authenticity verification    

自然资源要素指以物质形式存在,看得见,摸得着,可以实施调查、监测和控制的自然资源实体,涵盖陆地和海洋、地上和地下,包括土地、矿产、森林、草原、水、湿地、海域海岛等,具有自然、经济、社会、生态、空间立体等多重基本属性特征[1]。开展自然资源统一调查监测评价,准确掌握我国各类自然资源家底和变化情况,是科学编制国土空间规划,逐步实现山水林田湖草沙冰的整体保护、系统修复和综合治理,保障国家生态安全的基础支撑[2]。自然资源要素解译是调查监测工作中最基础、投入工作量最大、技术难度最高的工作。迄今为止,工程应用主要是“人工目视解译+实地调查”作业手段,劳动强度大、作业效率低、主观因素多的矛盾十分突出。如何实现自然资源要素的快速提取与智能解译已成为亟待突破的一项关键科学技术问题。

从遥感影像解译发展历程来看,遥感影像解译技术经历了人工目视判读、计算机分类与人机交互半自动解译阶段,随着日新月异的遥感应用需求、高分辨率遥感卫星的发射、人工智能技术的发展、地理知识的积累,以及历史积累数据的应用,目前正在向自动化智能化方向发展。从影像解译单元看,从像素级向对象级、场景级发展;从分类方法看,从传统监督、非监督分类器向集成学习、深度学习发展;从解译认知看,从智能理解向智能认知发展[3]

我国地形地貌多样、气象条件复杂、要素类型丰富、地表结构细碎、场景复杂多变,现有智能解译方法存在可解译类别少、要素边界不准不全、类别属性可靠性不高等诸多挑战。究其原因,现有方法没有充分考虑真实世界中场景与要素、要素与要素之间的相互依存关系,存在如下3个问题:①类别表征不完备,缺乏“特征-模式-类别”的表征及更高层次的特征挖掘,导致难以实现地物分层解构与精准认知;②知识应用不充分,解译过程缺乏业务化规则约束及知识推理,致使地类解译不准及边界无法满足业务需求;③算法推理与自学习不足,解译模型算法与应用需求、应用流程结合不紧密,导致模型算法可复用率低、迁移能力弱、场景适应性差,难以支撑复杂自然场景高分遥感智能解译。

本文从自然资源调查监测应用场景出发,以基本理论、方法途径、工具手段为研究视角,阐述了解译范式、解译方法、解译手段3个方面的研究进展;探讨了场景要素耦合解译、知识驱动语义理解、人机协同智能解译等6个重点研究方向及关键技术,以期为自然资源要素智能解译提供方法及思路,推动解决困扰遥感影像自动解译成果在自然资源监测业务应用中的瓶颈问题。

1 研究进展 1.1 解译范式:从基于要素的解译到场景要素耦合的解译

自然场景是一定地域、一定时空范围内,在各类自然要素(包括地质、地貌、气候、水文、土壤、生物等)综合作用下,表现出一定的分异特征、时空格局和演化过程的自然地域综合体[4]。当前基于要素的解译通过对特定要素在遥感数据中表现出的光谱、几何等特征进行,没有考虑真实世界中场景与要素、要素与要素之间的相互依存关系,存在类别表征不完备、知识应用不充分、算法推理与自学习不足的固有局限,难以支撑自然资源调查监测要素智能解译[5-6]

场景与要素相互依存,场景是由不同要素组成的,离开要素的场景将失去生命力,要素也离不开具体的场景,不仅要关注要素自身的位置、类型、数量等基本信息,更要从场景整体出发研究各个组成要素结构、功能、关系、行为、过程、状态、作用等相互关系,为高层次的认知与理解奠定基础。场景要素耦合的解译是以场景为基本解译单元,在对场景中各要素的结构、功能、关系等充分认知的前提下进行综合解译,能够为自然资源要素智能解译提供新途径[7]

场景根据特征层次可分为低层、中层、高层,低层为基于光谱和几何等的数据特征表征层,中层为空间、语义、关系、过程、作用等构成的内容特征表征层,高层为聚合各类内容特征的场景语义层[8-11]。以城市街区场景为例,低层特征为遥感影像的光谱、纹理、几何等特征,中层特征表达了建筑与道路、道路与公园、街区与公园之间的语义关系,可以利用语义概念和主题模型来表达,高层特征为城市街区复杂场景与道路、公园、建筑等要素之间的复杂语义结构关系,可以利用深度学习进行特征挖掘[12-14]。该方法以强大的层次化特征学习和良好的迁移性,在场景解译中具有显著优势[15-16]

场景根据层级认知可以分为数据层、模型层、知识层。数据层面,构建不同遥感数据的层次化表征模型,实现低层的光谱、几何特征提取,中层的空间、语义、关系、过程、作用等内容要素标签和高层的场景识别与聚合[17];模型层面,在继承现有要素解译模型的基础上,扩充场景要素耦合的解译模型,实现基于场景划分的要素映射通道;知识层面,引入场景中各要素在分异特征、时空格局和演化过程中所表现出的规律性知识,利用现存的各类国土调查和专题解译历史成果数据,构建场景时空分布、演化过程和要素相互作用过程等的地学知识图谱,并基于知识图谱推理场景-要素间的因果关联关系[18-19]。在场景层级认知中,数据是基础,模型是纽带,知识是价值,数据及知识是模型的输入,以弥补模型的不足,模型又能生成新的知识,通过知识反馈、迭代优化,形成具有扩展性、能动性、通用性的模型。

在数据-模型-知识驱动和引导下,分析场景要素时空关联耦合关系,建立场景要素耦合知识表达模型(图 1),实现场景要素关系的认知、表达和推理,以及更高级别的影像理解是当前迫切需要解决的问题。

图 1 场景要素耦合智能解译 Fig. 1 Scene-features coupling interpretation

1.2 解译方法:从数据驱动到知识驱动

解译方法从传统监督、非监督向集成学习、深度学习方向发展,都属于数据驱动的方法。传统的机器学习方法数学理论严密,但预测能力有限,深度学习方法学习能力强,但推理能力及可解释性弱。因此,知识驱动的可解释性方法得到了越来越多的关注,迁移学习、强化学习、知识图谱为知识驱动的解译方法提供了技术基础。

迁移学习是对深度学习的重要补充,基本思想是将源领域的知识向目标领域迁移,实现对已有知识的有效衔接与系统利用,使传统从零开始的学习变成可积累的学习[20]。根据迁移学习内容可分为实例迁移、特征迁移、参数迁移和关系知识迁移;根据迁移学习机制可分为不同时间的先验迁移、不同属性的特征迁移、不同空间的模型迁移。不同时间的先验迁移是相同空间范围上的先验知识在不同时刻间的有效迁移。不同属性的特征迁移是将多源异构的不同属性数据迁移到同一空间场景中,形成可统一量化计算的结构化多维属性;不同空间的模型迁移是将源领域的模型迁移到相似地理环境中,保证模型的正迁移[21]。迁移学习虽然具有知识迁移、空间认知等优势,但由于受地理环境、物候时相、太阳辐射、传感器标定等多种因素影响,源领域的知识与模型如何迁移到新目标,小区域模型如何外推到广域范围,都是亟待解决的问题,因此要根据具体任务要求设计具体的迁移方式,有效避免负迁移造成的不良影响,实现高效、准确的空间认知。

强化学习基本思想是结合人机交互过程,主动将专家经验、实地验证等环境增量进行反馈,通过知识增强对智能体系统实施迭代式趋优,实现对场景认知能力的综合提升,主要包括增量学习、集成学习、主动学习3类方式。增量学习能够修正和加强以前的知识,使得更新后的知识能更好地适应新数据及环境,而不必重新对全部样本数据进行学习,减少了后续训练时间[22];集成学习通过某种策略将多个模型组合,通过群体决策提高准确率,能够弥补单一模型的缺陷[23];主动学习是在无标签数据或有标签数据少,让算法主动提出要对哪些数据进行率先标注,再由专家针对性地进行交互式标注,从而加快对模型训练的优化过程[24]。对环境、任务和策略的解释存在强关联, 是实现强化学习解释必然面临的问题,强化学习问题由环境、任务、智能体策略3个关键因素组成。

知识图谱日益成为大数据、人工智能时代最为主要的知识表示方式,地学知识图谱的引入使得遥感解译方向从算法思维向地学思维转变[25],遥感影像解译知识图谱能够关联语义信息,存储了丰富的符号知识与数值知识,具有如下优点:①可以深入了解数据来源、地理环境,查找语义信息,评估结果是否符合应用目的;②形式化表达影像解译任务,集成异构的解译产品;③有助于解译知识的管理,以及遥感领域与其他领域(生态、农业、城市等)的知识共享与重用。

深度学习自学习能力强、适应力强、可移植性好,迁移学习对数据及标签的依赖性小,强化学习具有自我改进、推理决策等能力,知识图谱具有知识推理的高可信度、强解释性等优势,这些人工智能技术是实现智能认知的核心驱动力,综合利用各种方法的优势能够为知识驱动的智能解译提供技术基础。因此,在深度学习、迁移学习、强化学习、知识图谱等技术支撑下,从自然资源调查监测场景认知出发,构建自学习、可解释、可扩展、能推理的要素解译智能认知框架与智能解译系统(图 2),是推动遥感影像解译智能化发展的核心驱动力。

图 2 知识驱动的解译框架 Fig. 2 Intelligent cognition and semantic understanding framework

1.3 解译手段:从人工目视到人机协同

目前,国土变更调查、耕地调查等自然资源调查监测业务主要采用“人工目视解译+外业调绘”的作业手段,劳动强度大、生产效率低、主观因素多,已不能适应新时代自然资源全要素、全流程、全覆盖一体化调查监测的新要求和自然资源自动化、智能化、精细化、实时化管理的需求[1]。基于深度学习的影像解译技术虽然取得了一些进展,但由于受样本、模型、算力、场景等因素的影响,解译能力仍然有限,难以落地应用。

人机协同是人工智能发展的新阶段,成为推动要素提取智能化发展的主要驱动力,内涵是人与机器协同配合,通过自动化技术使大部分业务流程实现自动化,让人类从重复枯燥的工作流程中解放出来,通过智能化技术补充和增强人的能力边界,协助人类作出更精准、更清晰和更理性的判断,通过人类视觉感知及认知决策技术进行综合判断与验证,反馈给机器进行自主学习,提升机器智能水平,形成闭环[2]。基本思路是通过人机协同技术把遥感数据处理与目视判读、机器学习与专家知识、人脑与电脑的优势结合起来,电脑负责自动化处理,将处理结果推送给解译人员,解译人员根据经验和自动处理结果进行综合判断与确认,再将综合决策结果反馈给电脑,使得系统被训练得更智能,解决问题的能力越来越强[26]

人机协同智能解译主要分为两类。一是智能提取引导的人工解译,主要思路为:首先,利用深度学习等方法进行自动解译;其次,人工通过目视判断,确认自动提取结果中完全符合要求的要素对象,删除完全错误的要素对象,修正部分符合要求的对象,补测遗漏的对象;最后,将符合要求的解译结果反馈给电脑。二是人机交互引导下的半自动式解译,主要思路为:首先,通过人机交互设备给出对象在影像中的位置、形状、范围等初始信息;然后,计算机自动计算出该对象或者该类对象的精确位置和形状;最后,将结果反馈给计算机。

综合利用人机协同、深度学习、主动学习、信息可视化等技术,与应用需求、应用流程、应用模型紧耦合,构建面向应用场景的人机协同解译环境与模式,突破基于规则的图斑自动推送、多维可视化交互场景、时空样本库构建、基于深度学习的自然资源要素自动提取、人机交互半自动解译等核心技术,构建人机协同智能解译综合解决方案(图 3),将有望解决长期困扰遥感影像自动解译成果在自然资源调查监测业务中的瓶颈问题。

图 3 人机协同解译 Fig. 3 Human-machine collaborative interpretation

2 研究方向

针对自然资源调查监测要素智能解译存在的问题及面临的挑战,需要从场景-要素耦合解译、知识驱动语义理解、人机协同智能解译、内外一体与三维环境解译、关键参数精准计算与定量反演、高可信质量控制与真实性验证等方面进行攻关,以期为自然资源调查监测提供实用、稳健、可靠的解译技术。

2.1 场景-要素耦合解译

针对自然资源场景要素认知、表达与理解需求,探索场景-要素认知与解构原理、遥感数据-地学知识协同解译机理、高分遥感智能解译新范式,建立场景要素耦合认知新理论[27],攻克多尺度遥感数据融合、业务化知识图谱构建,地类边界语义化处理、“数据-模型-知识”驱动的场景要素耦合智能解译等核心技术,构建场景空间认知建模-场景-要素解构-多模态数据融合/协同-知识图谱构建-要素智能提取智能解译技术框架,实现自然资源要素精细解译从单要素识别到高层次的场景认知与理解(图 4),为自然资源调查监测要素智能解译提供理论-方法-技术-应用全链条场景要素耦合的遥感智能解译技术支撑[28]

图 4 场景要素耦合解译思路 Fig. 4 Scene features coupling interpretation

如何全面系统认知自然场景的时空分布、演化过程和要素相互作用特征,探究场景-要素映射与认知原理,厘清场景-要素关联耦合关系,构建场景-要素解构模型是实现场景-要素耦合解译的科学问题。

以地理学规律为基础,研究自然场景语义、位置、关系、几何、过程、作用、属性的7维度认知空间构建方法,构建自然场景分类体系和结构化、形式化描述方法;从高分辨率遥感影像的视觉感知、探测机理出发,构建高分辨率遥感光谱、几何、纹理等内容特征描述方法和视觉表征模型,研究基于视觉表征的特征标定和场景聚合方法,实现高分辨率遥感场景内容感知;研究地理学规律和遥感探测机理作用下不同场景对象间关联网络构建方法,设计定性和定量结合的场景对象层次映射关系求解策略,实现高分辨率遥感复杂自然场景的映射与认知。

场景-要素的耦合关系复杂,如在不同场景下,要素间的共现关系、空间分布模式、时间关联性,以及在影像上呈现的纹理特征均存在差异,难以整体解决,因此从水平邻接关系、层次分布构成和时空变化规律等视角多粒度开展场景-要素时空关联耦合分析研究;基于空间耦合分析模型(空间统计学模型、空间误差模型等),根据自然场景特征,从水平分布、垂直叠掩、时序变化3个视角揭示自然场景不同类别要素分布模态的耦合机理,分析场景与要素主控因子之间的交互胁迫关系,构建多尺度、多层次、多时序时空耦合模型(表 1)。厘清“场景-要素”关联耦合关系,创建“场景-要素”耦合解译范式,可为解决我国地表要素类型多样、层叠交错分布、要素动态变化等复杂自然场景下高分辨率遥感智能处理技术瓶颈提供理论支撑。

表 1 水平分布、垂直叠掩、时序变化自然场景 Tab. 1 Horizontal distribution, vertical overlapping mask, timing changes of natural scenes
场景示例 场景特点 主要构成要素 解译难点

南方丘陵区耕林草交错混生场景
光谱较暗,周围地物色调与耕地色调较为相似;耕地与森林、草地或水田旱地交错分布;多位于南方丘陵、山地或耕地与水域交界地区 耕地、林地、草地、未利用地(湖泊水面、河流水面) 水平分布要素边界提取困难

城市密叠区要素混杂场景
房屋建筑密集,道路被房屋建筑阴影遮挡;居住、商业办公、教育等用地混杂;阴影、林草覆盖其他要素出现频率较高,且交错分布 建设用地(含商服、工矿仓储、住宅、公服务用地等) 垂直分布要素分层解构困难

大型露天矿区边采边修复场景
整体色调不一,多呈现明暗交错分布;内部采场、尾矿、厂房、道路、林草、水体等要素交错分布 建设用地、林地、耕地、草地、未利用地 动态变化要素精准探测困难

针对水平分布场景解译难题,研究星空地多尺度数据融合技术,建立水平分布要素的知识图谱表达和混合破碎场景理解模型,构建“数据-模型-知识”驱动的智能解译技术,破解水平分布边界不清、可靠性不高难题。

针对垂直分布场景解译难题,研究场景-要素的垂直维度表征模型与分层解构模型,突破垂直维度表征模型与分层解构、场景-要素图谱构建与推理、层叠隐蔽复杂场景智能解译等核心技术,解决垂直维度层叠分布和隐蔽遮挡要素解译难题。

针对时序变化场景解译难题,研究时序多模态数据时空融合与协同方法,发展顾及探测机理的场景时序知识图谱库构建技术,建立知识图谱引导的动态变化要素解译与迁移学习框架,解决动态变化类别要素伪变难分难题。

2.2 知识驱动语义理解

针对专业知识应用不充分、解译过程缺乏知识推理、解译结果可解释性不强等问题,在深度学习、迁移学习、强化学习、知识图谱等技术支撑下,从自然资源调查监测场景认知出发,分析自然资源场景要素的特性,挖掘场景要素空间分布、空间关系、语义关联等知识[29],攻克地理实体形式化表达、地理知识图谱构建、语义知识推理与推荐等技术,构建自学习、可解释、可扩展、能推理的要素解译智能认知框架与智能解译系统,使智能解译具备语义理解能力,推动智能解译由数据算法思维向语义理解思维转变[30-31]

从地理本体及自然资源场景认知视角,系统分析自然资源实体空间位置、分布、格局等地理知识;从遥感视角,分析传感器光谱曲线、生物物理特性、遥感影像的光谱纹理形状等特征;从专家视角,总结专家知识,从而建立自然资源要素遥感解译知识体系,为智能解译奠定知识基础。

图 5 知识驱动语义理解思路 Fig. 5 Knowledge-driven semantic understanding

历史解译数据、遥感影像、文献资源是遥感解译知识的主要来源,从这些结构化、非结构化数据中提取出计算机可理解和计算的数据,需要解决实体抽取、关系抽取、属性抽取等知识获取问题。从多源异构数据中抽取地理实体、属性及其关系,采用知识图谱三元组方式进行知识表示

式中,G为具有全局属性的有向、带属性的图;u为全局属性;V={vi}i=1:N: 为节点集合,vi表示节点属性;E={(ek, rk, sk)}k=1:N: 为边集合,ek表示边属性,rksk分别表示边的接收和发出节点。实体及其关系形成了特定自然资源环境下的遥感解译知识图谱。

在遥感解译知识图谱引导下,结合知识图谱的推理优势和卷积神经网络的学习优势,研究外部辅助、内部嵌入、混合学习等耦合方法,以及迁移学习、强化学习等融合方式,构建知识图谱引导的深度学习网络,实现知识图谱引导的遥感影像智能解译。外部辅助是利用知识图谱直接纠正深度语义分割网络的分类错误,或者将知识图谱作为深度语义分割网络的输入;内部嵌入是在深度语义分割网络的输入端、学习端、损失函数中嵌入知识图谱,从而引导网络的训练,提高结果的可靠性与可解释性,解决深度神经网络缺乏对地学知识利用的问题,为可解释智能解译提供思路与方法。

2.3 人机协同智能解译

针对解译模型算法与应用需求结合不紧密、地类解译不准及边界无法满足业务需求等问题,构建面向应用场景的人机协同解译环境与模式,研究“智能计算后台+智能引擎+人机交互前台”的人机协同智能提取技术框架[2, 32],如图 6所示。后台运用深度学习等方法进行智能计算,将自动提取结果通过智能引擎推送到前台;前台利用半自动提取、人机交互采集编辑技术手段进行人机交互式综合判断与验证。这一方法通过人类与智能机器共同协作,利用自动化技术使大部分业务流程实现自动化,利用人类视觉感知及认知决策技术进行综合判断与验证,反馈给机器,提升机器智能水平,从而实现人的解译知识的实时利用与机器智能提升,提升自然资源要素提取的自动化与智能化水平。

图 6 人机协同智能提取技术框架 Fig. 6 Human-computer collaborative intelligent extraction technology frame

智能计算、智能引擎、人机交互、迭代优化等技术是人机协同智能提取的核心。依据结构可灵活表示、内部结构可配置、模块结构可组合原则,研究适用于要素提取的多策略融合的语义分割网络模型,实现自然资源要素的自动提取;定义推送单元及推送规则,引入规则引擎,根据推送规则将自动提取结果推送到前台;借鉴游戏引擎可视化技术,构建多维可视化交互环境,使自然资源信息更加形象、逼真地展示出来,有利于解译人员进行多视角解译与分析;前台选择半自动化工具,利用人机交互方式对后台自动化结果进行编辑,编辑后的结果可以作为进一步更新时空样本数据集,对后台智能计算模型进行迭代优化,形成模型与样本的优化闭环。

以水体提取为例,后台运用深度学习方法自动提取水体,但其结果存在毛边现象,边界吻合度与生产要求有差距,则前台进行人机交互编辑修改,形成满足生产要求的成果,水体提取示例如图 7所示。

图 7 水体提取示例 Fig. 7 Water extraction sample

利用像素准确率(PA)、交并比(IoU)评价深度学习自动提取结果,计算公式为

式中,TP为分类准确的正类;TN为被错分类为正类的负类;FP为分类准确的负类;FN为被错分类为负类的正类。

水体提取像素准确率为97.99%,交并比为63.84%。

2.4 内外一体与三维环境解译

针对疑似图斑判读、质量检查与解译成果核查等问题,采用“互联网+”新技术、“云+多终端”服务架构[33],构建“互联网+”内外一体化在线解译平台,实现内外无缝对接,确保数据真实准确(图 8)。利用无人机组网监测、超分辨率相机视频监测、移动智能感知、卫星动态导航定位等技术,研究内外一体在线解译模式,攻克计算机自动比对、AI智能判读、人机协同等技术,根据影像、照片、视频、数据库进行属性标注、图斑边界检查、地类一致性检查等内业核查工作,提高内业解译效率;外业共同拍照、实地测量图斑边界和认定地类,传输到内业进行核查。通过内外业务协同、互联互通、在线视频互联,实现自然资源要素解译的线上联动、全程监控,提高解译成果的质量及整体效率。

图 8 内外一体在线解译思路 Fig. 8 Indoor and outdoor integrated online interpretation

第三次全国国土调查以调查底图、举证资料和最新年度土地调查数据库为依据,采用智能判读、互联网在线举证等技术,实现了内业图斑判读、外业举证核查、内业核查修改,确保了调查成果符合相关规范要求。

针对林草湿、地表基质、水资源、海洋等专项调查监测的实际需要,研发共性处理技术,对样地调查、外业调绘、图斑举证、属性调查、定位观测、移动终端、观测台站等数据进行处理,解决各类调查数据格式不一、数据交叉、指标相矛盾等问题,实现海量、多类型、多层次地面调查数据一体化处理[34]

自然资源要素是一个三维的时空分布,针对二维到三维的自然资源场景要素精细解译需求,攻克机载LiDAR数据、倾斜摄影测量等多源数据高精度融合、三维立体场景建模、三维可视化、三维模型管理、空间量算、分层索引等技术,研发数字孪生三维环境可视化系统和三维模型数据库,构建自然资源时空立方体,实现“地上下、室内外、水上下”地理实体对象与三维环境的精准映射、可视化表达,使自然资源信息更加形象逼真地展示出来[35],如图 9所示。利用多维度多视角解译与分析、智能化要素采集、立体协同解译等技术,准确提取自然资源要素的结构、几何等信息,可提高自然资源要素类别精细度与边界准确度。

图 9 三维环境立体解译思路 Fig. 9 3D scene interpretation

以建筑物实体采集为例(图 10),以实景三维模型数据和正射影像为源数据,利用智能方法提取具有三维坐标的建筑物实体,并人机交互进行检查、修测、补测,生成结构化的三维矢量,可以清晰准确获得建筑物的长、宽、高等信息,建筑物结构、窗户等设施也能智能高效获取及在线编辑,减少外业工作,提升作业效率。

图 10 建筑物实体采集示例 Fig. 10 Building entity collection example

2.5 关键参数精准计算与定量反演

针对草原植被覆盖度、森林生物量等参数调查需求,依据我国显著的地表分异性规律和专项调查参数年际变化规律[36],构建面向自然资源关键参数的各类样本库,以及辐射传输、生态过程[37]、尺度转换、统计关系等模型库,综合利用长时间序列地面调查样地数据、星载和机载光学、SAR、LiDAR、高光谱等多源数据,通过大气校正、模型构建、参数反演、多维可视化交互等处理,实现不同草原区域、森林区域融合星天地数据的植被覆盖度、森林生物量等参数高精度反演和产品生产[38],如图 11所示。

图 11 关键参数精准计算与定量反演 Fig. 11 Precise computing and quantitative inversion of key parameters

针对森林资源数量、质量、生长量、消耗量、生物量等参数计算,以数理统计和抽样理论为基础,依托国家森林资源连续清查的抽样框架,利用高空间分辨率与高时间分辨率光学、激光雷达、SAR遥感数据,结合调查样地数据、数字高程模型数据等,突破星天地多源遥感数据融合、遥感影像自动提取、参数反演建模、卫星精准定位、无人机快捷核实等技术,实现森林面积、种类、数量、质量、生长量、消耗量、生物量等参数的精准计算。

针对草原资源植被结构、覆盖度、产草量等精准计算,充分利用已有草原调查监测及其他相关资源调查监测资料,结合高空间分辨率与高时间分辨率遥感数据、调查实测样地、样方数据等,突破遥感影像自动提取、遥感建模、参数反演建模等技术,实现草原植被结构、覆盖度、产草量等参数的精准计算。

2.6 高可信质量控制与真实性验证

为确保调查监测的数据质量,围绕数据多样性、流程复杂性及人为因素等质量问题产生的根源,建立集自然资源时空信息、生态环境知识、人文地理知识等为一体的自然资源质量知识图谱,构建集卫星遥感、无人机遥感、众源、互联网大数据、监测站点、样地样本、外业巡查等数据为一体的调查监测真实性验证支撑库,突破海量时空信息与自然资源信息的一致性检查、基于知识图谱与支撑库的多源信息交叉验证、互联网+众筹的信息真实性举证、空地结合的实地巡检等多模式验证技术[39-40],为各项调查监测提供实时、动态、可靠的质量信息与质量预警服务,如图 12所示。

图 12 高可信质量控制与真实性验证思路 Fig. 12 High-confidence quality control and authenticity verification

融合地表基质、海洋、耕地、林草湿等自然资源认知与管理知识、人文地理知识、质量控制体系等知识,构建自然资源调查监测质量的词、实体、关系、事件、规则模型等,研究知识检索、分析与推理关键技术,支撑智能化质量控制与验证。

针对不同来源、不同时间、不同类型信息在语义表达、光谱信息等方面的差异性,以时空信息为基础,以自然资源要素、人文地理等的分布、关系、推演模型为依据,基于知识图谱与支撑库,实现多源信息交叉验证,验证要素类型、质量等一致性与可信度,确保验证解译的正确性、信息更新的及时性。

以样地、样点、样方的地面观测数据为基础,与无人机遥感影像、激光雷达点云等数据相结合,辅以卫星遥感数据,分析区域地理、地貌、地物、人文等特征,推演样本的代表性,判断解译结果的准确性、调查监测成果的正确性,实现质量控制与真实性验证。

3 结论

在大数据、互联网、人工智能等新一代信息技术支撑下,自然资源要素智能解译取得了重要进展。从解译范式看,从要素解译向场景要素耦合解译发展,有助于实现高层次场景理解下的精细解译;从解译方法看,从数据驱动向知识驱动发展,有助于推动智能解译由数据算法思维向语义理解思维转变;从解决手段看,从人工目视向人机协同发展,有助于解决解译模型算法难以满足业务需求的最后一公里问题。

自然资源要素智能解译面临着可解译类别少、要素边界不准不全、类别属性可靠性不高等诸多挑战,本文探讨了场景要素耦合解译、知识驱动语义理解、人机协同智能解译、内外一体与三维环境解译、关键参数精准计算与定理反演、高可信质量控制与真实性检验等重点研究方向及其研究内容,旨在抛砖引玉,期待更多的学者一起探讨实用、稳健、可靠的解译技术,深化对自然资源的认知[41]

自然资源要素相互关联,过程相互耦合,是有机统一体,需要践行山水林田湖草沙冰生命共同体理念,从“要素-结构-功能”角度揭示自然资源由表及里的认知规律,通过遥感获得要素的光谱、纹理、形状等信息,通过关联分析得到语义、关系、格局等结构信息,通过推理决策得到作用、价值等功能信息。

联合多源遥感、地理知识、人类认知等手段,分析自然资源场景或现象,利用机器学习、遥感定量反演、空间优化、空间计算等方法,挖掘自然资源空间分布、过程与格局的模式[42-43],以可定制、可推送的服务方式为各级用户提供知识产品与决策方案,实现自然资源“现象-过程-格局”深度认知。


参考文献
[1]
张继贤, 李海涛, 顾海燕, 等. 人机协同的自然资源要素智能提取方法[J]. 测绘学报, 2021, 50(8): 1023-1032.
ZHANG Jixian, LI Haitao, GU Haiyan, et al. Study on man-machine collaborative intelligent extraction for natural resource features[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8): 1023-1032. DOI:10.11947/j.AGCS.2021.20210102
[2]
自然资源部. 《自然资源调查监测体系构建总体方案》[EB/OL]. (2020-01-17)[2020-01-20]. http://www.gov.cn:8080/zhengce/zhengceku/2020-01/18/content_5470398.htm.
Ministry of Natural Resources of the People's Republic of China. Overall plan for the construction of the natural resources investigation and monitoring system[EB/OL]. (2020-01-17)[2020-01-20]. http://www.gov.cn:8080/zhengce/zhengceku/2020-01/18/content_5470398.htm.
[3]
张继贤, 顾海燕, 杨懿, 等. 高分辨率遥感影像智能解译研究进展与趋势[J]. 遥感学报, 2021, 25(11): 2198-2210.
ZHANG Jixian, GU Haiyan, YANG Yi, et al. Research progress and trend of high-resolution remote sensing imagery intelligent interpretation[J]. Journal of Remote Sensing, 2021, 25(11): 2198-2210.
[4]
刘巍, 吴志峰, 骆剑承, 等. 深度学习支持下的丘陵山区耕地高分辨率遥感信息分区分层提取方法[J]. 测绘学报, 2021, 50(1): 105-116.
LIU Wei, WU Zhifeng, LUO Jiancheng, et al. A divided and stratified extraction method of high-resolution remote sensing information for cropland in hilly and mountainous areas based on deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(1): 105-116. DOI:10.11947/j.AGCS.2021.20190448
[5]
闾国年, 俞肇元, 袁林旺, 等. 地图学的未来是场景学吗?[J]. 地球信息科学学报, 2018, 20(1): 1-6.
LV Guonian, YU Zhaoyuan, YUAN Linwang, et al. Is the future of cartography the scenario science?[J]. Journal of Geo-Information Science, 2018, 20(1): 1-6.
[6]
邓培芳, 徐科杰, 黄鸿. 基于CNN-GCN双流网络的高分辨率遥感影像场景分类[J]. 遥感学报, 2021, 25(11): 2270-2282.
DENG Peifang, XU Kejie, HUANG Hong. CNN-GCN-based dual-stream network for scene classification of remote sensing images[J]. Journal of Remote Sensing, 2021, 25(11): 2270-2282.
[7]
范鑫, 胡昌苗, 霍连志. 耦合多源地理数据的多分辨率遥感影像场景分类方法研究[J]. 无线电工程, 2021, 51(12): 1449-1460.
FAN Xin, HU Changmiao, HUO Lianzhi. Research on multi-resolution remote sensing image scene classification method coupled with multi-source geographic data[J]. Radio Engineering, 2021, 51(12): 1449-1460.
[8]
顾广华, 韩晰瑛, 陈春霞, 等. 图像场景语义分类研究进展综述[J]. 系统工程与电子技术, 2016, 38(4): 936-948.
GU Guanghua, HAN Xiying, CHEN Chunxia, et al. Survey on semantic scene classification research[J]. Systems Engineering and Electronics, 2016, 38(4): 936-948.
[9]
CHENG Gong, XIE Xingxing, HAN Junwei, et al. Remote sensing image scene classification meets deep learning: challenges, methods, benchmarks, and opportunities[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 3735-3756. DOI:10.1109/JSTARS.2020.3005403
[10]
MA Lei, LIU Yu, ZHANG Xueliang, et al. Deep learning in remote sensing applications: a meta-analysis and review[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 152: 166-177. DOI:10.1016/j.isprsjprs.2019.04.015
[11]
田艳玲, 张维桐, 张锲石, 等. 图像场景分类技术综述[J]. 电子学报, 2019, 47(4): 915-926.
TIAN Yanling, ZHANG Weitong, ZHANG Qieshi, et al. Review on image scene classification technology[J]. Acta Electronica Sinica, 2019, 47(4): 915-926. DOI:10.3969/j.issn.0372-2112.2019.04.020
[12]
HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554. DOI:10.1162/neco.2006.18.7.1527
[13]
LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. DOI:10.1038/nature14539
[14]
YANG Liu, TIAN Shengwei, YU Long, et al. Deep learning for extracting water body from Landsat imagery[J]. International Journal of Innovative Computing, Information and Control, 2015, 11(6): 1913-1929.
[15]
LUUS F P S, SALMON B P, VAN DEN BERGH F, et al. Multiview deep learning for land-use classification[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(12): 2448-2452. DOI:10.1109/LGRS.2015.2483680
[16]
HUANG Bo, ZHAO Bei, SONG Yimeng. Urban land-use mapping using a deep convolutional neural network with high spatial resolution multispectral remote sensing imagery[J]. Remote Sensing of Environment, 2018, 214: 73-86. DOI:10.1016/j.rse.2018.04.050
[17]
SU Yu, ZHONG Yanfei, ZHU Qiqi, et al. Urban scene understanding based on semantic and socioeconomic features: from high-resolution remote sensing imagery to multi-source geographic datasets[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 179: 50-65. DOI:10.1016/j.isprsjprs.2021.07.003
[18]
JI Shaoxiong, PAN Shirui, CAMBRIA E, et al. A survey on knowledge graphs: representation, acquisition, and applications[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(2): 494-514. DOI:10.1109/TNNLS.2021.3070843
[19]
王志华, 杨晓梅, 周成虎. 面向遥感大数据的地学知识图谱构想[J]. 地球信息科学学报, 2021, 23(1): 16-28.
WANG Zhihua, YANG Xiaomei, ZHOU Chenghu. Geographic knowledge graph for remote sensing big data[J]. Journal of Geo-Information Science, 2021, 23(1): 16-28.
[20]
周黎鸣, 陈璐, 刘金明, 等. 基于迁移学习的高分辨率遥感影像场景分类研究[J]. 河南大学学报(自然科学版), 2020, 50(4): 443-450.
ZHOU Liming, CHEN Lu, LIU Jinming, et al. Research on high resolution remote sensing image scene classification based on transfer learning[J]. Journal of Henan University (Natural Science), 2020, 50(4): 443-450.
[21]
骆剑承, 胡晓东, 吴田军, 等. 高分遥感驱动的精准土地利用与土地覆盖变化信息智能计算模型与方法研究[J]. 遥感学报, 2021, 25(7): 1351-1373.
LUO Jiancheng, HU Xiaodong, WU Tianjun, et al. Research on intelligent calculation model and method of precision land use/cover change information driven by high-resolution remote sensing[J]. National Remote Sensing Bulletin, 2021, 25(7): 1351-1373.
[22]
BELOUADAH E, POPESCU A, KANELLOS I. A comprehensive study of class incremental learning algorithms for visual tasks[J]. Neural Networks, 2021, 135: 38-54. DOI:10.1016/j.neunet.2020.12.003
[23]
SAGI O, ROKACH L. Ensemble learning: a survey[J]. WIREs Data Mining and Knowledge Discovery, 2018, 8(4): e1249.
[24]
刘大鹏, 曹永锋, 张伦. 深度迁移主动学习研究综述[J]. 现代计算机, 2021(10): 88-93.
LIU Dapeng, CAO Yongfeng, ZHANG Lun. Review of research on deep transfer active learning[J]. Modern Computer, 2021(10): 88-93. DOI:10.3969/j.issn.1007-1423.2021.10.017
[25]
张洪岩, 周成虎, 闾国年, 等. 试论地学信息图谱思想的内涵与传承[J]. 地球信息科学学报, 2020, 22(4): 653-661.
ZHANG Hongyan, ZHOU Chenghu, LV Guonian, et al. The connotation and inheritance of Geo-information Tupu[J]. Journal of Geo-Information Science, 2020, 22(4): 653-661.
[26]
范向民, 范俊君, 田丰, 等. 人机交互与人工智能: 从交替浮沉到协同共进[J]. 中国科学: 信息科学, 2019, 49(3): 361-368.
FAN Xiangmin, FAN Junjun, TIAN Feng, et al. Human-computer interaction and artificial intelligence: from competition to integration[J]. Scientia Sinica (Informationis), 2019, 49(3): 361-368.
[27]
WANG Guoli, FAN Bin, XIANG Shiming, et al. Aggregating rich hierarchical features for scene classification in remote sensing imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(9): 4104-4115. DOI:10.1109/JSTARS.2017.2705419
[28]
单卫东. 强化自然地理认知合理利用自然资源[N]. 中国自然资源报, 2021-01-08(3).
SHAN Weidong. Strengthen the cognition of natural geography and make rational use of natural resources[N]. China Natural Resources News, 2021-01-08(3).
[29]
顾海燕, 李海涛, 闫利, 等. 地理本体驱动的遥感影像面向对象分析方法[J]. 武汉大学学报(信息科学版), 2018, 43(1): 31-36.
GU Haiyan, LI Haitao, YAN Li, et al. A geographic object-based image analysis methodology based on geo-ontology[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 31-36.
[30]
陈军, 刘万增, 武昊, 等. 基础地理知识服务的基本问题与研究方向[J]. 武汉大学学报(信息科学版), 2019, 44(1): 38-47.
CHEN Jun, LIU Wanzeng, WU Hao, et al. Basic issues and research agenda of geospatial knowledge service[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 38-47.
[31]
ZHONG Yanfei, WU Siqi, ZHAO Bei. Scene semantic understanding based on the spatial context relations of multiple objects[J]. Remote Sensing, 2017, 9(10): 1030. DOI:10.3390/rs9101030
[32]
周小程, 高冬明. 人机协同, "智"在必得[N]. 解放军报, 2019-12-06(11).
ZHOU Xiaocheng, GAO Dongming. Human-machine collaboration, "wisdom" must be won[N]. People's Liberation Army Daily, 2019-12-06(11).
[33]
薛兆元, 连恒, 仲星, 等. 基于"互联网+"的自然资源利用监测模式研究[J]. 安徽农业科学, 2021, 49(7): 237-239.
XUE Zhaoyuan, LIAN Heng, ZHONG Xing, et al. Research on the monitoring mode of natural resources utilization based on" Internet+"[J]. Journal of Anhui Agricultural Sciences, 2021, 49(7): 237-239. DOI:10.3969/j.issn.0517-6611.2021.07.066
[34]
王占宏, 白穆, 李宏建. 地理空间大数据服务自然资源调查监测的方向分析[J]. 地理信息世界, 2019, 26(1): 1-5.
WANG Zhanhong, BAI Mu, LI Hongjian. Direction analysis on service for natural resource investigation and monitoring using geospatial big data[J]. Geomatics World, 2019, 26(1): 1-5. DOI:10.3969/j.issn.1672-1586.2019.01.001
[35]
自然资源部. 实景三维中国建设技术大纲(2021版): 自然资办发[2021]56号[N]. 2021-08-11.
Department of Natural Resources. Real 3D China construction technology outline (2021 edition): natural resources development [2021]no. 56[N]. 2021-08-11.
[36]
梁顺林, 白瑞, 陈晓娜, 等. 2019年中国陆表定量遥感发展综述[J]. 遥感学报, 2020, 24(6): 618-671.
LIANG Shunlin, BAI Rui, CHEN Xiaona, et al. Review of China's land surface quantitative remote sensing development in 2019[J]. Journal of Remote Sensing, 2020, 24(6): 618-671.
[37]
WU Jianguo. Urban ecology and sustainability: the state-of-the-science and future directions[J]. Landscape and Urban Planning, 2014, 125: 209-221. DOI:10.1016/j.landurbplan.2014.01.018
[38]
SRIVASTAVA S, VARGAS-MUÑOZ J E, TUIA D. Understanding urban landuse from the above and ground perspectives: a deep learning, multimodal solution[J]. Remote Sensing of Environment, 2019, 228: 129-143. DOI:10.1016/j.rse.2019.04.014
[39]
陈军, 陈斐, 武昊, 等. 互联网+地表覆盖验证及应用[J]. 武汉大学学报(信息科学版), 2018, 43(12): 2225-2232.
CHEN Jun, CHEN Fei, WU Hao, et al. Internet+ land cover validation: methodology and practice[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2225-2232.
[40]
孟雯, 童小华, 谢欢, 等. 基于空间抽样的区域地表覆盖遥感制图产品精度评估——以中国陕西省为例[J]. 地球信息科学学报, 2015, 17(6): 742-749.
MENG Wen, TONG Xiaohua, XIE Huan, et al. Accuracy assessment for regional land cover remote sensing mapping product based on spatial sampling: a case study of Shaanxi province, China[J]. Journal of Geo-Information Science, 2015, 17(6): 742-749.
[41]
应申, 李程鹏, 郭仁忠, 等. 自然资源全要素概念模型构建[J]. 中国土地科学, 2019, 33(3): 50-58.
YING Shen, LI Chengpeng, GUO Renzhong, et al. Conceptual model construction of natural resource full factors[J]. China Land Science, 2019, 33(3): 50-58.
[42]
XUE Zhaohui, NIE Xiangyu. Low-rank and sparse representation with adaptive neighborhood regularization for hyperspectral image classification[J]. Journal of Geodesy and Geoinformation Science, 2022, 5(1): 73-90. DOI:10.11947/j.JGGS.2022.0108
[43]
LIU Wensong, JI Xinyuan, LIU Jie, et al. A novel unsupervised change detection method with structure consistency and GFLICM based on UAV images[J]. Journal of Geodesy and Geoinformation Science, 2022, 5(1): 91-102. DOI:10.11947/j.JGGS.2022.0109
http://dx.doi.org/10.11947/j.AGCS.2022.20220109
中国科学技术协会主管、中国测绘地理信息学会主办。
0

文章信息

张继贤,顾海燕,杨懿,张鹤,李海涛,韩文立,沈晶
ZHANG Jixian, GU Haiyan, YANG Yi, ZHANG He, LI Haitao, HAN Wenli, SHEN Jing
自然资源要素智能解译研究进展与方向
Research progress and trend of intelligent interpretation for natural resources features
测绘学报,2022,51(7):1606-1617
Acta Geodaetica et Cartographica Sinica, 2022, 51(7): 1606-1617
http://dx.doi.org/10.11947/j.AGCS.2022.20220109

文章历史

收稿日期:2022-02-22
修回日期:2022-06-21

相关文章

工作空间