基于HBase的空间矢量数据存储模型设计与优化

doi:10.11947/j.AGCS.2020.20190525

测绘学报 ›› 2020, Vol. 49 ›› Issue (10): 1365-1373.doi: 10.11947/j.AGCS.2020.20190525

基于HBase的空间矢量数据存储模型设计与优化

谢鹏^1,2,3, 杨春成⁴, 熊顺^2,3, 何列松^2,3, 周校东^2,3

1. 信息工程大学地理空间信息学院, 河南郑州 450052;
2. 西安测绘研究所, 陕西西安 710054;
3. 地理信息工程国家重点实验室, 陕西西安 710054;
4. 中国地质大学(武汉), 湖北武汉 430074

收稿日期:2019-12-20 修回日期:2020-04-11 发布日期:2020-10-31
作者简介:谢鹏(1977-),男,副研究员,研究方向为空间数据库及应用。E-mail:xp952307@sina.com
基金资助:
国家自然科学基金（41301527）

Design and optimization of spatial vector data storage model based on HBase

XIE Peng^1,2,3, YANG Chuncheng⁴, XIONG Shun^2,3, HE Liesong^2,3, ZHOU Xiaodong^2,3

1. Institute of Geographical Spatial Information, Information Engineering University, Zhengzhou 450052, China;
2. Xi'an Research Institute of Surveying and Mapping, Xi'an 710054, China;
3. State Key Laboratory of Geo-Information Engineering, Xi'an 710054, China;
4. China University of Geosciences, Wuhan 430074, China

Received:2019-12-20 Revised:2020-04-11 Published:2020-10-31
Supported by:
The National Natural Science Foundation of China(No. 41301527)

摘要/Abstract

摘要： 数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题，在分析关系型空间数据库存储模型的基础上，将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域，提出了空间矢量数据关系存储模式向HBase存储模式转换方法，设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性，对模型进行了优化完善。通过试验验证了在没有辅助索引情况下，本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。

关键词: HBase, 关系型数据库, 空间矢量数据, 存储模型, 反范式化

Abstract: Data storage model is an important part of database model. This paper aims at bottleneck problems in developing relational spatial database and using HBase to manage spatial vector data. Based on the analysis of relational spatial database storage model, the rules fortransforming the relational database storage mode into HBase storage mode are applied to spatial vector data management, a method of transforming spatial vector data relational storage schema into HBase storage schema is proposed, and a HBase storage model is designed for spatial vector data. The model is optimized and improved by using HBase's features such as entity nesting, denormalization and schemalessness.The experimental results show that the query efficiency of the storage model designed in this paper is better than that of the HBase-based spatial vector data storage model in the absence of auxiliary indexes.

Key words: HBase, relational database, spatial vector data, storage model, denormalization

中图分类号:

P208

谢鹏, 杨春成, 熊顺, 何列松, 周校东. 基于HBase的空间矢量数据存储模型设计与优化[J]. 测绘学报, 2020, 49(10): 1365-1373.

XIE Peng, YANG Chuncheng, XIONG Shun, HE Liesong, ZHOU Xiaodong. Design and optimization of spatial vector data storage model based on HBase[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(10): 1365-1373.

导出引用管理器 EndNote|Reference Manager|ProCite|BibTeX|RefWorks

链接本文: http://xb.chinasmp.com/CN/10.11947/j.AGCS.2020.20190525

http://xb.chinasmp.com/CN/Y2020/V49/I10/1365

参考文献

[1] 吴政, 李成名, 武鹏达, 等. Oracle数据库矢栅数据一体化存储与管理[J]. 测绘学报, 2017, 46(5):639-648. WU Zheng, LI Chengming, WU Pengda, et al. Integrated storage and management of vector and raster data based on oracle database[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(5):639-648.
[2] 陈超, 王亮, 闫浩文, 等. 一种基于NoSQL的地图瓦片数据存储技术[J]. 测绘科学, 2013, 38(1):142-143, 159. CHEN Chao, WANG Liang, YAN Haowen, et al. A map tiles data storage technology based on NoSQL[J]. Science of Surveying and Mapping, 2013, 38(1):142-143, 159.
[3] 廖克. 中国地图学发展的回顾与展望[J]. 测绘学报, 2017, 46(10):1517-1525. DOI:10.11947/j.AGCS.2017.20170330. LIAO Ke. Retrospect and prospect of the development of Chinese cartography[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10):1517-1525. DOI:10.11947/j.AGCS.2017.20170330.
[4] 王家耀, 成毅. 论地图学的属性和地图的价值[J]. 测绘学报, 2015, 44(3):237-241. DOI:10.11947/j.AGCS.2015.20140406. WANG Jiayao, CHENG Yi. Discussions on the attributes of cartography and the value of map[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(3):237-241. DOI:10.11947/j.AGCS.2015.20140406.
[5] 龚健雅. 空间数据库管理系统的概念与发展趋势[J]. 测绘科学, 2001, 26(3):4-9. GONG Jianya. Concepts and development of spatial database management[J]. Science of Surveying and Mapping, 2001, 26(3):4-9.
[6] 喻占武, 郑胜, 李忠民, 等. 基于对象存储的海量空间数据存储与管理[J]. 武汉大学学报(信息科学版), 2008, 33(5):528-532. YU Zhanwu, ZHENG Sheng, LI Zhongmin, et al. Massive spatial data storage and management based on object-based storage[J]. Geomatics and Information Science of Wuhan University, 2008, 33(5):528-532.
[7] 毛静. 基于Oracle Spatial的GIS数据存储管理系统的研究[D]. 西安:长安大学, 2012. MAO Jing. The study of the GIS data storage and management system based on Oracle Spatial[D]. Xi'an:Chang'an University, 2012.
[8] 马元龙. 基于Arc SDE和SQL Server空间数据库的设计与优化方法研究[D]. 合肥:安徽农业大学, 2016. MA Yuanlong. Research on design and optimization methods of spatial database based on Arc SDE and SQL Server[D]. Hefei:Anhui Agricultural University, 2016.
[9] 李剑峰. 三峡水库温室气体空间数据库管理系统设计与开发研究[D]. 武汉:华中科技大学, 2016. LI Jianfeng. Design and development of spatial database management system for the greenhouse gas in Three gorges Reservoir[D]. Wuhan:Huazhong University of Science & Technology, 2016.
[10] SHEKHAR S, CHAWLA S. Spatial databases:a tour[M]. New Jersey:Prentice Hall, Inc.,2003.
[11] GEORGE L. HBase:the definitive guide[M]. Sebastopol:O'Reilly Media, Inc.,2011.
[12] CATTELL R. Scalable SQL and NoSQL data stores[J]. ACM SIGMOD Record, 2011, 39(4):12-27.
[13] 范建永, 龙明, 熊伟. 基于HBase的矢量空间数据分布式存储研究[J]. 地理与地理信息科学, 2012, 28(5):39-42. FAN Jianyong, LONG Ming, XIONG Wei. Research of vector spatial data distributed storage based on HBase[J]. Geography and Geo-Information Science, 2012, 28(5):39-42.
[14] 丁琛. 基于HBase的空间数据分布式存储和并行查询算法研究[D]. 南京:南京师范大学, 2014. DING Chen. Research on distributed storage and parallel query algorithm of spatial data in HBase[D]. Nanjing:Nanjing Normal University, 2014.
[15] GAO Fan, YUE Peng, WUZhaoyan, et al. Geospatial data storage based on HBase and MapReduce[C]//Proceedings of 2017 6th International Conference on Agro-Geoinformatics. Fairfax, VA:IEEE, 2017:1-4.
[16] ZHENG Kun, FU Yanli. Research on vector spatial data storage schema based on Hadoop platform[J]. International Journal of Database Theory and Application, 2013, 6(5):85-94.
[17] LI Chongxin. Transforming relational database into HBase:a case study[C]//Proceedings of 2010 IEEE International Conference on Software Engineering and Service Sciences. Beijing, China:IEEE, 2010:683-687.
[18] 张巍, 龚健雅. 地理信息系统中复杂地物的OO模型[J]. 测绘学报, 1995, 24(4):293-300. ZHANG Wei, GONG Jianya. Object-oriented data model for complex feature in GIS[J]. Acta Geodaetica et Cartographica Sinica, 1995, 24(4):293-300.
[19] 涂振发. 云计算环境下海量空间数据高效存储关键技术研究[D]. 武汉:武汉大学, 2012. TU Zhengfa. Research on the technology of efficient mass spatial data storage in the cloud computing environment[D]. Wuhan:Wuhan University, 2012.
[20] 王家耀. 空间信息系统原理[M]. 北京:科学出版社, 2001. WANG Jiayao. Principles of spatial information system[M]. Beijing:Science Press, 2001.
[21] 王家耀, 孙群, 王光霞, 等. 地图学原理与方法[M]. 2版. 北京:科学出版社, 2014. WANG Jiayao, SUN Qun, WANG Guangxia, et al. Principles and methods of cartography[M]. 2nd ed. Beijing:Science Press, 2014.
[22] 刘仁义, 刘南, 苏国中. 图形数据与关系数据库的结合及其应用[J]. 测绘学报, 2000, 29(4):329-333. DOI:10.3321/j.issn:1001-1595.2000.04.009. LIU Renyi, LIU Nan, SU Guozhong. Manipulation of spatial graphical data in RDBMS and its implementation in application of GIS[J]. Acta Geodaetica et Cartographica Sinica, 2000, 29(4):329-333. DOI:10.3321/j.issn:1001-1595.2000.04.009.
[23] CHANG K T. Introduction to geographic information systems[M]. 8th ed. New York:McGraw-Hill Education, 2016.
[24] 龚健雅. GIS中面向对象时空数据模型[J]. 测绘学报, 1997, 26(4):289-298. GONG Jianya. An object-oriented spatio-temporal data model in GIS[J]. Acta Geodaetica et Cartographica Sinica, 1997, 26(4):289-298.
[25] GAO Fan, YUE Peng, WU Zhaoyan, et al. Geospatial data storage based on HBase and Map Reduce[C]//Proceedings of 2017 6th International Conference on Agro-Geoinformatics. Fairfax, VA, USA:IEEE, 2017:1-4.
[26] HUANG Shidong, CAI Lizhi, LIU Zhenyu, et al. Non-structure data storage technology:a discussion[C]//Proceedings of 2012 IEEE/ACIS 11th International Conference on Computer and Information Science. Shanghai, China:IEEE, 2012:482-487.
[27] 毋河海. 地图数据库系统[M]. 北京:测绘出版社, 1991. WU Hehai. Cartographic database system[M]. Beijing:SinoMaps Press, 1991.
[28] 马延辉, 孟鑫, 李立松. HBase企业应用开发实战[M]. 北京:机械工业出版社, 2014. MA Yanhui, MENG Xin, LI Lisong. Enterprise application development with HBase[M]. Beijing:China Machine Press, 2014.
[29] DIMIDUK N, KHURANA A. HBase in action[M]. New York, USA:Manning Publications, 2012.
[30] 李青云, 余文. 关系型数据库到HBase的转换设计[J]. 信息网络安全, 2015, 15(1):51-55. LI Qinyun, YU Wen. Transition design of relational database into HBase[J]. Netinfo Security, 2015, 15(1):51-55.

基于HBase的空间矢量数据存储模型设计与优化

Design and optimization of spatial vector data storage model based on HBase

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	吴明光, 成梓铭. 顾及使用场景的绿色地图颜色生成方法研究[J]. 测绘学报, 2026, 55(3): 390-403.
[2]	杨敏, 马宏然, 孔博, 刘鹏程, 艾廷华. 基于预训练模型的矢量海岸线形态模式判别方法[J]. 测绘学报, 2026, 55(3): 404-414.
[3]	禹文豪, 曾子怡, 张一帆, 钱海忠. 融合欧氏空间邻近与拓扑邻接信息预训练模型的路网网格模式[J]. 测绘学报, 2026, 55(3): 415-424.
[4]	禄小敏, 张志义, 闫浩文, 何毅, 苏小宁. 融合深度图信息最大化和多层感知机的建筑物群组模式识别方法[J]. 测绘学报, 2026, 55(3): 425-438.
[5]	成晓强, 赵家威, 刘鹏程. 基于距离-相似性隐喻的空间交互可视化[J]. 测绘学报, 2026, 55(3): 536-547.
[6]	王泽矫, 向隆刚, 王猛, 王兴娟, 刘清. 融合层级特征与多样化注意力的道路面与中心线协同提取网络[J]. 测绘学报, 2026, 55(3): 548-563.
[7]	徐智邦. 实体城市的多层次边界识别、模式分析与扩张模拟[J]. 测绘学报, 2026, 55(3): 566-566.
[8]	冉耘博, 杨雪, 周文豪, 吴承恩, 周宝定, 唐炉亮, 李清泉. 多维偏好增强型对抗深度强化学习驱动的行人路径规划[J]. 测绘学报, 2026, 55(2): 191-205.
[9]	王立增, 程诗奋, 杨一涛, 王培晓, 陆锋. 局部-全局联合感知的时空自适应交通集成预测方法[J]. 测绘学报, 2026, 55(2): 206-221.
[10]	王少华, 梁浩健, 苏澄, 徐大川, 周亮, 秦昆. 耦合时空大数据和人工智能的城市设施配置优化研究进展与展望[J]. 测绘学报, 2026, 55(2): 222-235.
[11]	付晓, 朱司蕊, 厉旭东, 闾国年. 面向长距离通勤场景的城市垂直起降场布局优化方法[J]. 测绘学报, 2026, 55(2): 236-248.
[12]	郭军豪, 吴明治, 王培晓, 张恒才. 一种面向定点稀疏轨迹的密度聚类停留点识别方法[J]. 测绘学报, 2026, 55(2): 249-260.
[13]	李冠男. 道路实景三维模型自动构建方法[J]. 测绘学报, 2026, 55(2): 378-378.
[14]	刘鹏程, 成晓强, 肖天元, 杨敏, 艾廷华. 一种面向地图综合建筑多边形化简的Transformer模型[J]. 测绘学报, 2026, 55(1): 124-137.
[15]	贺彪, 林浩嘉, 郭仁忠, 蒯希, 马丁, 张琛. 基于视觉感知的三维空间相似关系量化计算[J]. 测绘学报, 2026, 55(1): 138-153.