基于多级信息网格的海量遥感数据存储管理研究

doi:10.11947/j.AGCS.2016.F013

测绘学报 ›› 2016, Vol. 45 ›› Issue (S1): 106-114.doi: 10.11947/j.AGCS.2016.F013

基于多级信息网格的海量遥感数据存储管理研究

李爽¹, 程承旗², 童晓冲³, 陈波², 翟卫欣¹

1. 北京大学遥感与地理信息系统研究所, 北京 100871;
2. 北京大学工学院, 北京 100871;
3. 信息工程大学地理空间信息学院, 河南郑州 450001

收稿日期:2016-08-20 修回日期:2016-10-20 出版日期:2016-12-31 发布日期:2017-03-29
通讯作者: 程承旗 E-mail:ccq@pku.edu.cn
作者简介:李爽(1992-),女,博士生,研究方向为全球剖分网格模型与空间数据整合。E-mail:lishuang0928@foxmail.com
基金资助:
高分辨率对地观测系统国家重大专项（11-Y20A02-9001-16/17；30-Y20A01-9003-16/17）

A Study on Data Storage and Management for Massive Remote Sensing Data Based on Multi-level Grid Model

LI Shuang¹, CHENG Chengqi², TONG Xiaochong³, CHEN Bo², ZHAI Weixin¹

1. Institute of Remote Sensing and GIS, Peking University, Beijing 100871, China;
2. College of Engineering, Peking University, Beijing 100871, China;
3. Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450001, China

Received:2016-08-20 Revised:2016-10-20 Online:2016-12-31 Published:2017-03-29
Supported by:
High-Resolution Earth Observation System National Key Foundation of China (Nos. 11-Y20A02-9001-16/17;30-Y20A01-9003-16/17)

摘要/Abstract

摘要： 随着遥感探测技术的高速发展，空间信息呈爆炸式增长。针对目前现有遥感数据存储管理系统数据量大、数据来源丰富、查询检索慢等问题，本文提出了一种基于GeoSOT网格的遥感数据组织方案，并首次在关系型数据库中增加数组数据类型的剖分网格编码列，来存储遥感影像元数据中空间信息，对数据进行逻辑剖分索引，从而实现影像数据的统一存储与空间区域检索。试验选择Kingbase关系型数据库作为测试平台，通过模拟全球范围的影像数据，与Oracle平台进行对比试验。结果表明本文的检索效率具有明显优势，可有效提高遥感数据整合、检索效率，为现有遥感数据存储中心或管理系统提供了一种高效、可行的方案。

关键词: GeoSOT网格, 遥感影像, 元数据, 数组数据结构, 倒排索引

Abstract: With the rapid development of remote sensing technology, spatial information is exploding. For current remote sensing data storage management system, their data volume, rich data sources, query retrieves slow and other issues are problems to be solved. This paper then proposed a remote sensing data organization scheme based on GeoSOT. By firstly adding a GeoSOT code column which is array format in relational database, spatial information in the metadata can be stored and logically subdivided, in order to achieve unified storage and retrieval of image data space area. We compare our method with Oracle platform by simulating worldwide image data. Experimental results show that the retrieval efficiency of this article has obvious advantages and can effectively improve the integration of remote sensing data, retrieval efficiency. Our approach also offers a more effective storage management program for existing storage center or management system.

Key words: GeoSOT, remote sensing data, metadata, array, inverted index

中图分类号:

P208

李爽, 程承旗, 童晓冲, 陈波, 翟卫欣. 基于多级信息网格的海量遥感数据存储管理研究[J]. 测绘学报, 2016, 45(S1): 106-114.

LI Shuang, CHENG Chengqi, TONG Xiaochong, CHEN Bo, ZHAI Weixin. A Study on Data Storage and Management for Massive Remote Sensing Data Based on Multi-level Grid Model[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(S1): 106-114.

参考文献

[1] 李德仁, 张良培, 夏桂松. 遥感大数据自动分析与数据挖掘[J]. 测绘学报, 2014, 43(12):1211-1216. DOI:10.13485/j.cnki.11-208.2014.0187. LI Deren, ZHANG Liangpei, XIA Guisong. Automatic Analysis and Mining of Remote Sensing Big Data[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(12):1211-1216. DOI:10.13485/j.cnki.11-208.2014.0187.
[2] 程承旗, 任伏虎, 濮国梁, 等. 空间信息剖分组织导论[M]. 北京:科学出版社, 2012. CHENG Chengqi, REN Fuhu, PU Guoliang, et al. An Introduce to Spatial Information Subdivision Organization[M]. Beijing:Science Press, 2012.
[3] 程承旗, 关丽. 基于地图分幅拓展的全球剖分模型及其地址编码研究[J]. 测绘学报, 2010, 39(3):295-302. CHENG Chengqi, GUAN Li. The Global Subdivision Grid Based on Extended Mapping Division and Its Address Coding[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(3):295-302.
[4] ESFANDIARI M, RAMAPRIYAN H, BEHNKE J, et al. Earth Observing System (EOS) Data and Information System (EOSDIS)-Evolution Update and Future[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium. Barcelona:IEEE, 2007:4005-4008.
[5] ALBANI S, GIARETTA D. Long-term Preservation of Earth Observation Data and Knowledge in ESA Through CASPAR[J]. International Journal of Digital Curation, 2009, 4(3):4-16.
[6] GIBIN M, SINGLETON A, MILTON R, et al. An Exploratory Cartographic Visualisation of London Through the Google Maps API[J]. Applied Spatial Analysis and Policy, 2008, 1(2):85-97.
[7] GUO Wei, GONG Jianya, JIANG Wanshou, et al. OpenRS-Cloud:A Remote Sensing Image Processing Platform Based on Cloud Computing Environment[J]. Science China Technological Sciences, 2010, 53(S1):221-230.
[8] SCHWARTZ J. Bing Maps Tile System[EB/OL].[2016-03-20].http://msdn.microsoft.com/en-us/library/bb259689.aspx.
[9] BOSCHETTI L, ROY D P, JUSTICE C O. Using NASA's World Wind Virtual Globe for Interactive Internet Visualization of the Global MODIS Burned area Product[J]. International Journal of Remote Sensing, 2008, 29(11):3067-3072.
[10] 吕雪锋, 程承旗, 龚健雅, 等. 海量遥感数据存储管理技术综述[J]. 中国科学:技术科学, 2011, 41(12):1561-1573. LÜ Xuefeng, CHENG Chengqi, GONG Jianya, et al. Review of Data Storage and Management Technologies for Massive Remote Sensing Data[J]. Science China Technological Sciences, 2011,41(12):1561-1573.
[11] 李志刚, 蒋捷, 翟永, 等. 面向分布式服务聚合的"天地图" 总体技术架构[J]. 测绘地理信息, 2012, 37(5):13-15. LI Zhigang, JIANG Jie, ZHAI Yong, et al. "TIANDITU" Technical Architecture for Supporting Distributed Service Aggregation[J]. Journal of Geomatics, 2012, 37(5):13-15.
[12] 原发杰. 一种新的海量遥感瓦片影像数据存储检索策略[D]. 成都:电子科技大学, 2013. YUAN Fajie. A New Strategy of Storage & Retrieval for Massive Tile Data of Remote Sensing Images[D]. Chengdu:University of Electronic Science and Technology of China, 2013.
[13] 宋树华, 程承旗, 濮国梁, 等. 全球遥感数据剖分组织的GeoSOT网格应用[J]. 测绘学报, 2014, 43(8):869-876. DOI:10.13485/j.cnki.11-2089.2014.0103. SONG Shuhua, CHENG Chengqi, PU Guoliang, et al. Global Remote Sensing Data Subdivision Organization Based on GeoSOT[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(8):869-876. DOI:10.13485/j.cnki.11-2089.2014.0103.
[14] 金安, 程承旗, 宋树华, 等. 基于Geohash的面数据区域查询[J]. 地理与地理信息科学, 2013, 29(5):31-35. JIN An, CHENG Chengqi, SONG Shuhua, et al. Regional Query of Area Data Based on Geohash[J]. Geography and Geo-Information Science, 2013, 29(5):31-35.
[15] 金安. 地球空间剖分编码代数模型及应用初探[D]. 北京:北京大学, 2013. JIN An. Global Subdivision Code Algebra Model and its Application[D]. Beijing:Peking University, 2013.
[16] 冯敏, 诸云强, 张鸣之, 等. 多源遥感影像共享平台的设计与实现[J]. 地球信息科学, 2008, 10(1):102-108. FENG Min, ZHU Yunqiang, ZHANG Mingzhi, et al. Design and Realization of Multi-source Remote Sensing Images Sharing Platform[J]. Geo-information Science, 2008, 10(1):102-108.
[17] 盛震宇, 冯钧. 基于XML Schema的水利元数据可视化方法[J]. 电子器件, 2013, 36(4):540-545. SHENG Zhenyu, FENG Jun. A Hydrology Metadata Visualization Method Based on XML Schema[J]. Chinese Journal of Electron Devices, 2013, 36(4):540-545.
[18] 徐周, 黄上腾. 基于XML实现数据库间信息交换的方法[J]. 计算机工程, 2001, 27(4):177-179. XU Zhou, HUANG Shangteng. XML-based Method of Information Exchanging Between Databases[J]. Computer Engineering, 2001, 27(4):177-179.
[19] 李满春, 陈刚, 陈振杰, 等. GIS设计与实现[M]. 2版. 北京:科学出版社, 2011. LI Manchun, CHEN Gang, CHEN Zhenjie, et al. GIS Design and Application[M]. 2nd ed. Beijing:Science Express, 2011.
[20] 代万能. 倒排索引技术在Hadoop平台上的研究与实现[D]. 成都:电子科技大学, 2013. DAI Wanneng. Study and Implementation of Inverted Index on Hadoop[D]. Chengdu:University of Electronic Science and Technology of China, 2013.

基于多级信息网格的海量遥感数据存储管理研究

A Study on Data Storage and Management for Massive Remote Sensing Data Based on Multi-level Grid Model

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	张祖勋, 姜慧伟, 庞世燕, 胡翔云. 多时相遥感影像的变化检测研究现状与展望[J]. 测绘学报, 2022, 51(7): 1091-1107.
[2]	李荣兴, 李国君, 冯甜甜, 沈强, 乔刚, 叶真, 夏梦莲. 基于光学遥感卫星影像的南极冰流速产品和方法研究综述[J]. 测绘学报, 2022, 51(6): 953-963.
[3]	程结海, 黄中意, 王建如, 何湜. 高空间分辨率遥感影像最优分割结果自动确定方法[J]. 测绘学报, 2022, 51(5): 658-667.
[4]	白坤, 慕晓冬, 陈雪冰, 朱永清, 尤轩昂. 融合半监督学习的无监督遥感影像场景分类[J]. 测绘学报, 2022, 51(5): 691-702.
[5]	廖章回, 姜闯. 高分辨率遥感影像快速去雾[J]. 测绘学报, 2022, 51(3): 446-456.
[6]	何直蒙, 丁海勇, 安炳琪. 高分辨率遥感影像建筑物提取的空洞卷积E-Unet算法[J]. 测绘学报, 2022, 51(3): 457-467.
[7]	洪亮, 冯亚飞, 彭双云, 楚森森. 面向对象的多尺度加权联合稀疏表示的高空间分辨率遥感影像分类[J]. 测绘学报, 2022, 51(2): 224-237.
[8]	葛小三, 陈曦, 赵文智, 李瑞祥. 基于生成对抗网络的建筑物损毁检测[J]. 测绘学报, 2022, 51(2): 238-247.
[9]	余俊鹏, 吴伟东, 孙佳明, 满益云, 沈刚. 附加傅里叶补偿项的卫星遥感影像RFM平差方法[J]. 测绘学报, 2022, 51(1): 127-134.
[10]	张玉鑫, 颜青松, 邓非. 高分辨率遥感影像建筑物提取多路径RSU网络法[J]. 测绘学报, 2022, 51(1): 135-144.
[11]	龚健雅, 许越, 胡翔云, 姜良存, 张觅. 遥感影像智能解译样本库现状与研究[J]. 测绘学报, 2021, 50(8): 1013-1022.
[12]	陶超, 阴紫薇, 朱庆, 李海峰. 遥感影像智能解译:从监督学习到自监督学习[J]. 测绘学报, 2021, 50(8): 1122-1134.
[13]	李雅丽, 向隆刚, 张彩丽, 吴华意, 龚健雅. 车辆轨迹与遥感影像多层次融合的道路交叉口识别[J]. 测绘学报, 2021, 50(11): 1546-1557.
[14]	邓开元, 任超. 多光谱光学遥感影像水体提取模型[J]. 测绘学报, 2021, 50(10): 1370-1379.
[15]	张涛, 丁乐乐, 史芙蓉. 高分辨率遥感影像城中村提取的景观语义指数方法[J]. 测绘学报, 2021, 50(1): 97-104.