内存集群计算:交互式数据分析

被引：5

作者：

黄岚 ^{[1
]}

孙珂 ^{[1
]}

陈晓竹 ^{[1
]}

周敏奇 ^{[2
]}

机构：

[1] 电子科技集团第三十二研究所

[2] 华东师范大学数据科学与工程研究院

来源：

华东师范大学学报(自然科学版) | 2014年 / 05期

关键词：

内存数据管理; 缓存感知; 迭代式处理;

D O I：

暂无

中图分类号：

TP333 [存贮器];

学科分类号：

081201 ;

摘要：

本文围绕大数据分类中决策数据的管理和分析进行展开.重点分析了大数据时代关于商务智能(Business Intelligence,BI)技术新的应用需求;讨论了计算机硬件和体系结构的发展为决策数据管理和分析带来的挑战和机遇;通过对新兴典型应用的分析和相关技术和系统特点的总结,说明了基于内存计算的高性能数据管理和分析技术是当前亟待解决的问题,具有广阔的应用前景.在全内存式(in-memory)数据管理环境下,网络通讯将成为整个系统的主要瓶颈.结合内存的特点(数据易失性、内存墙瓶颈),设计针对高性能服务器的无共享分布式内存系统拓扑结构;研究面向异构、多层次缓存和内存结构的分布式数据布局与索引策略,跨核、跨处理器、跨服务器的多粒度并行处理框架,缓存感知、内存感知的分布式数据一致性维护等关键技术,轻量级面向按列存储的数据压缩机制及压缩感知的数据处理机制,将是基于内存计算的高性能数据管理与分析技术的重点研究内容,并将最终实现实时交互式分析处理.

引用

页码：216 / 227

页数：12

共 12 条

[1] Breaking the Memory Wall in MonetDB [J].

Boncz, Peter A. ;

Kersten, Martin L. ;

Manegold, Stefan .

COMMUNICATIONS OF THE ACM, 2008, 51 (12) :77-85

[2] Improving hash join performance through prefetching [J].

Chen, Shimin ;

Ailamaki, Anastassia ;

Gibbons, Phillip B. ;

Mowry, Todd C. .

ACM TRANSACTIONS ON DATABASE SYSTEMS, 2007, 32 (03)

[3] A locality-preserving cache-oblivious dynamic dictionary [J].

Bender, MA ;

Duan, ZY ;

Iacono, J ;

Wu, J .

JOURNAL OF ALGORITHMS-COGNITION INFORMATICS AND LOGIC, 2004, 53 (02) :115-136

[4]

A Conversation with Jim Gray[J] . Queue . 2003 (4)

[5] Main-memory index structures with fixed-size partial keys [J].

Bohannon, P ;

McIlroy, P ;

Rastogi, R .

SIGMOD RECORD, 2001, 30 (02) :163-174

[6]

Hitting the memory wall[J] . Wm. A. Wulf,Sally A. McKee.ACM SIGARCH Computer Architecture News . 1995 (1)

[7] THE DESIGN AND IMPLEMENTATION OF A LOG-STRUCTURED FILE SYSTEM [J].

ROSENBLUM, M ;

OUSTERHOUT, JK .

ACM TRANSACTIONS ON COMPUTER SYSTEMS, 1992, 10 (01) :26-52

[8]

Federated database systems for managing distributed, heterogeneous, and autonomous databases[J] . Amit P. Sheth,James A. Larson.ACM Computing Surveys (CSUR) . 1990 (3)

[9] MEMORY COHERENCE IN SHARED VIRTUAL MEMORY-SYSTEMS [J].

LI, K ;

HUDAK, P .

ACM TRANSACTIONS ON COMPUTER SYSTEMS, 1989, 7 (04) :321-359

[10] THE INPUT OUTPUT COMPLEXITY OF SORTING AND RELATED PROBLEMS [J].

AGGARWAL, A ;

VITTER, JS .

COMMUNICATIONS OF THE ACM, 1988, 31 (09) :1116-1127

← 1 2 →