基于GPU加速的超精简型编码数据库系统

被引：7

作者：

骆歆远

陈刚

伍赛

机构：

[1] 浙江大学计算机学院

来源：

计算机研究与发展 | 2015年 / 02期

关键词：

数据库系统; 行列混合存储; 编码; 规则挖掘; GPU; CUDA;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

在数据爆发式增长的今天,特别是通信、金融、互联网等领域产生的大规模数据,在存储和查询方面给业界带来了前所未有的压力.在这种背景下,当前的数据库和数据仓库系统通过对数据进行压缩编码,在节约空间的同时减少了数据表查询时所需的I/O,获得性能上的提升,但大部分系统在面对实际大规模企业数据应用时依然无法在压缩比、导入时间或查询性能上完全满足企业需求.通过基于一定的规则对数据重新进行编码和精简,实现了一种新型超精简型编码的数据库系统HEGA-STORE.采用行列混合存储的架构;提出基于列内和列间规则挖掘和编码的数据导入存储计划;同时在规则挖掘和编码中使用GPU作为协处理器并行处理算法从而提高效率.通过开发编解码原型系统,对大规模网易易信通信记录数据和网易后台日志数据的导入和查询分别进行了测试,并与其他压缩编码算法和数据库、数据仓库产品进行比较.对比实验结果表明,相比同类数据库和数据仓库产品,原型系统拥有极高的压缩比,并且在导入速度和全表扫描查询速度也处于领先地位,同时使用GPU和CPU协作进行数据处理时也能进一步提高系统性能,验证了提出的超精简型编码数据库系统的实际应用价值.

引用

页码：362 / 376

页数：15

共 3 条

[1] Relational Query Coprocessing on Graphics Processors [J].

He, Bingsheng ;

Lu, Mian ;

Yang, Ke ;

Fang, Rui ;

Govindaraju, Naga K. ;

Luo, Qiong ;

Sander, Pedro V. .

ACM TRANSACTIONS ON DATABASE SYSTEMS, 2009, 34 (04)

[2]

A method for the construction of minimum-redundancy codes[J] . David A. Huffman.Resonance . 2006 (2)

[3]

A mathematical theory of communication[J] . C. E. Shannon.ACM SIGMOBILE Mobile Computing and Communications Review . 2001 (1)

← 1 →