基于Spark平台的地理数据并行装载技术

被引:1
作者
贺梦洁 [1 ]
朱美正 [1 ]
初宁 [2 ]
杨岗 [2 ]
机构
[1] 中国电子科技集团第十五研究所
[2] 中国电子设备系统工程公司研究所
关键词
Spark; 地理信息系统; 并行装载;
D O I
暂无
中图分类号
P208 [测绘数据库与信息系统]; TP338.6 [并行计算机];
学科分类号
070503 ; 081603 ; 0818 ; 081802 ; 081201 ;
摘要
随着地理信息系统研究的不断深入发展,其应用领域不断扩张,地理数据规模越来越大,高性能的地理数据处理成为迫切并且必然的要求。为了适应地理信息系统发展的需要,本文设计了基于Spark平台的地理数据并行处理框架,并最终设计实现了地理数据并行装载技术,使得地理数据装载效率得到显著提高,为今后实现地理数据实时更新、访问、分析等奠定了良好的基础。
引用
收藏
页码:63 / 68
页数:6
相关论文
共 7 条
[1]   基于Spark的空间数据实时访存技术的研究 [J].
方金云 ;
刘羽 ;
姚晓 ;
陈翠婷 ;
张梦菲 ;
肖茁建 ;
张广发 .
地理信息世界, 2015, 22 (06) :24-31
[2]   基于Spark的海量图像检索系统设计 [J].
王迅 ;
冯瑞 .
微型电脑应用, 2015, 31 (11) :11-13+17+2
[3]   基于Shark/Spark的分布式空间数据分析框架 [J].
温馨 ;
罗侃 ;
陈荣国 .
地球信息科学学报, 2015, (04) :401-407
[4]  
Spark快速大数据分析.[M].卡劳;肯维尼斯科;温德尔;扎哈里亚.人民邮电出版社.2015,
[5]  
Spark大数据处理.[M].高彦杰.机械工业出版社.2014,
[6]  
分布式环境下海量空间数据的存储和并行查询技术研究.[D].张广弟.江西理工大学.2012, 04
[7]  
海量空间数据的分布式存储管理及并行处理技术研究.[D].崔鑫.国防科学技术大学.2010, 02