基于Hadoop的地质大数据融合与挖掘技术框架

被引：44

作者：

朱月琴 ^{[1
,2
]}

谭永杰 ^{[1
,2
]}

张建通 ^{[3
]}

毛波 ^{[4
]}

沈婕 ^{[5
]}

汲超飞 ^{[6
]}

机构：

[1] 中国地质调查局发展研究中心

[2] 国土资源部地质信息技术重点实验室

[3] 中国交通通讯信息中心

[4] 南京财经大学

[5] 南京师范大学

[6] 中国矿业大学(北京)

来源：

测绘学报 | 2015年 / 44(S1)卷 / S1期

关键词：

地质大数据; Hadoop; 融合; 挖掘;

D O I：

暂无

中图分类号：

P628 [数学勘探]; TP311.13 [];

学科分类号：

1201 ;

摘要：

地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。

引用

页码：152 / 159

页数：8

共 18 条

[1] 智能地质调查体系与架构
李超岭
李丰丹
李健强
刘园园
刘畅
吕霞
[J]. 中国地质, 2015, 42 (04) : 828 - 838
[2] 地质大数据存储技术
李婧
陈建平
王翔
[J]. 地质通报, 2015, 34 (08) : 1589 - 1594
[3] 地质调查大数据研究的主要问题分析
严光生
薛群威
肖克炎
陈建平
缪谨励
余海龙
[J]. 地质通报, 2015, 34 (07) : 1273 - 1279
[4] 大数据时代数字找矿与定量评价
赵鹏大
[J]. 地质通报, 2015, 34 (07) : 1255 - 1259
[5] 智能地质调查大数据应用体系架构与关键技术
李超岭
李健强
张宏春
龚爱华
魏东琦
[J]. 地质通报, 2015, 34 (07) : 1288 - 1299
[6] 基于云架构的中国地质调查信息网格平台关键技术研究与实现
吕霞
李健强
龚爱华
刘畅
李丰丹
[J]. 地质通报, 2015, 34 (07) : 1323 - 1332
[7] 大数据背景下的国家地质信息服务系统建设
郑啸
李景朝
王翔
梁婉娟
[J]. 地质通报, 2015, 34 (07) : 1316 - 1322
[8] 面向大数据的分析技术
高志鹏
牛琨
刘杰
[J]. 北京邮电大学学报, 2015, (03) : 1 - 12
[9] 基于Storm和Hadoop的大数据处理架构的研究
靳永超
吴怀谷
[J]. 现代计算机(专业版), 2015, (04) : 9 - 12
[10] 大数据可视分析综述
任磊
杜一
马帅
张小龙
戴国忠
[J]. 软件学报, 2014, 25 (09) : 1909 - 1936

← 1 2 →