一种基于数据湖的大数据处理机制研究

被引：27

作者：

陈永南 ^{[1
]}

许桂明 ^{[2
]}

张新建 ^{[2
]}

机构：

[1] 部队

[2] 南京电子工程研究所

来源：

计算机与数字工程 | 2019年 / 47卷 / 10期

关键词：

数据湖; 生态系统; 大数据处理; 读时模式;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

针对新一代信息技术带来的海量数据存储管理和高效利用问题,论文分析了传统的海量数据处理方法,进而提出了采用数据湖的架构理念处理大数据的设计思路,初步分析了数据湖的概念内涵、技术特点、体系结构、处理机制和应用思路,以期对行业大数据的高效共享利用提供建议和启发。

引用

页码：2540 / 2545

页数：6

共 15 条

[1] 大数据技术在指挥信息系统中的应用与发展 [J].

王珩 ;

王海宁 ;

刘畅 ;

张新建 .

指挥信息系统与技术, 2015, 6 (02) :5-9

[2]

Data wrangling:the challenging journey from the wild to the lake. Terrizzano I,Schwarz PM,Roth M,Colino JE. 7th Biennial conference on innovative data systems (CIDR) . 2015

[3] 海军指挥信息系统大数据策略 [J].

张新建 ;

张媛 .

指挥信息系统与技术, 2015, 6 (02) :17-21

[4] 大数据湖存储模式建设探讨 [J].

史宝山 .

广播电视信息, 2018, (06) :101-103

[5] 数据湖——一种更好的大数据存储架构 [J].

郭文惠 .

电脑知识与技术, 2016, 12 (30) :4-6

[6]

A novel big data architecture in support of ADS-B data analytic. Boci E,Thistlethwaite S. Integrated Communication,Navigation,and Surveillance Conference . 2015

[7]

Profiling relational data:Asurvey. Abedjan Z,Golab L,Naumann F. The VLDB Journal . 2015

[8]

Personal Data Lake with Data Gravity Pull. Walker C,Alrehamy H. IEEE Fifth International Conference on Big Data and Cloud Computing . 2015

[9]

Soft and Decarative fishing of Information in Big Data Lake. Bozena M-M,Marek S,Dariusz M. IEEE Transactions on Fuzzy Systems . 2018

[10]

Subspace projection method based clustering analysis in load profiling. M.Piao,H.S.Shon,J.Y.Lee,K.H.Ryu. IEEE Transactions on Power Systems .

← 1 2 →