Hadoop系统性能优化与功能增强综述

被引：70
作者：
董新华
李瑞轩
周湾湾
王聪
薛正元
廖东杰
机构：
[1] 华中科技大学计算机科学与技术学院
来源：
计算机研究与发展 | 2013年 / 50(S2)卷 / S2期
关键词：
大数据; Hadoop; 性能优化; MapReduce; 作业调度; HDFS;
D O I：
暂无
中图分类号：
TP333 [存贮器];
学科分类号：
081201 ;
摘要：
Hadoop已成为大数据关键部件,并获得了越来越多的支持.由于认识到Hadoop的巨大潜力,更多的用户在使用现有Hadoop平台技术的同时,着手研发和优化现有技术,以对Hadoop进行补充.在给出Hadoop系统基本框架的基础上,阐述了MapReduce并行计算框架优化、作业调度优化、HDFS性能优化、HBase性能优化和Hadoop功能增强等研究现状,分析已有技术的优势和不足,并探讨了未来的研究方向.
引用
收藏
页码：1 / 15
页数：15
相关论文
共 28 条
[1]  
基于HBASE的列存储压缩算法的研究与实现.[D].罗燕新.华南理工大学.2011, 12
[2]  
分布式数据库HBase快照的设计与实现.[D].李崇欣.浙江大学.2011, 07
[3]  
A MapReduce task scheduling algorithm for deadline constraints.[J].Zhuo Tang;Junqing Zhou;Kenli Li;Ruixuan Li.Cluster Computing.2013, 4
[4]  
The Key as Dictionary Compression Method of Inverted Index Table under the Hbase Database.[J].Pengsen Cheng;Junxiu An.Journal of Software.2013, 5
[5]   Breaking the MapReduce stage barrier [J].
Verma, Abhishek ;
Cho, Brian ;
Zea, Nicolas ;
Gupta, Indranil ;
Campbell, Roy H. .
CLUSTER COMPUTING-THE JOURNAL OF NETWORKS SOFTWARE TOOLS AND APPLICATIONS, 2013, 16 (01) :191-206
[6]   Optimizing and Tuning MapReduce Jobs to Improve the Large-Scale Data Analysis Process [J].
Premchaiswadi, Wichian ;
Romsaiyud, Walisa .
INTERNATIONAL JOURNAL OF INTELLIGENT SYSTEMS, 2013, 28 (02) :185-200
[7]   iMapReduce: A Distributed Computing Framework for Iterative Computation [J].
Zhang, Yanfeng ;
Gao, Qixin ;
Gao, Lixin ;
Wang, Cuirong .
JOURNAL OF GRID COMPUTING, 2012, 10 (01) :47-68
[8]  
The HaLoop approach to large-scale iterative data analysis.[J].Yingyi Bu;Bill Howe;Magdalena Balazinska;Michael Ernst.The VLDB Journal.2012, 2
[9]   Beyond Hadoop: Recent Directions in Data Computing for Internet Services [J].
Xu, Zhiwei ;
Yan, Bo ;
Zou, Yongqiang .
INTERNATIONAL JOURNAL OF CLOUD APPLICATIONS AND COMPUTING, 2011, 1 (01) :45-61
[10]  
Hbase - non SQL Database; Performances Evaluation.[J].Carstoiu; Dorin;Lepadatu; Elena;Gaspar; Mihai.International Journal of Advancements in Computing Technology.2010, 5
123