构建自动演进的天文大数据负载模型

被引：1

作者：

王华进 ^{[1
,2
]}

万萌 ^{[3
]}

韩锐 ^{[4
]}

任玮 ^{[5
]}

张海明 ^{[1
]}

黎建辉 ^{[1
]}

机构：

[1] 中国科学院计算机网络信息中心

[2] 中国科学院大学

[3] 中国科学院国家天文台

[4] 中国科学院计算技术研究所

[5] 中国人民大学

来源：

系统仿真学报 | 2018年 / 30卷 / 09期

基金：

国家重点研发计划;

关键词：

负载模型; 基准测试; 天文数据管理; 查询优化;

D O I：

10.16182/j.issn1004731x.joss.201809009

中图分类号：

P11 [天文观测设备与观测资料];

学科分类号：

070401 ;

摘要：

基准测试在数据管理系统的选型和优化中发挥指导作用的前提是其采用的负载模型能够:运行在目标场景中的各类系统上(移植性);反映目标场景中典型任务的特点和数据访问偏好(代表性)。当前天文大数据管理领域的新系统和新任务层出不穷,导致现有方法构建的负载模型容易失去移植性和代表性。提出了自动演进的负载建模方法:采用抽象操作保持对新型系统的移植性,通过分析负载日志保持对新型任务的代表性。通过一个系统优化案例展示了该方法的可行性。

引用

页码：3293 / 3305

页数：13

共 4 条

[1] GWAC海量星表数据处理的数据库系统选型研究 [J].

万萌 ;

吴潮 ;

Ying Zhang ;

徐洋 ;

魏建彦 .

天文研究与技术, 2016, 13 (03) :373-381

[2] Benchmarking SQL on MapReduce systems using large astronomy databases [J].

Mesmoudi, Amin ;

Hacid, Mohand-Said ;

Toumani, Farouk .

DISTRIBUTED AND PARALLEL DATABASES, 2016, 34 (03) :347-378

[3]

Towards characterizing cloud backend workloads[J] . Asit K. Mishra,Joseph L. Hellerstein,Walfredo Cirne,Chita R. Das. ACM SIGMETRICS Performance Evaluation Review . 2010 (4)

[4]

LSST Data Challenge Handbook (Version 2.0) .2 Shaw R A. . 2012

← 1 →