基于规则库的数据质量评估方法

被引：18

作者：

刘芳 ^{[1
]}

李敏 ^{[2
]}

任洪敏 ^{[1
]}

周兆明 ^{[3
]}

机构：

[1] 上海海事大学信息工程学院

[2] 青岛西海岸新区管委

[3] 上海产业研究院

来源：

计算机系统应用 | 2017年 / 26卷 / 11期

关键词：

规则库; 数据质量; 评估模板; 数据可视化;

D O I：

10.15888/j.cnki.csa.006046

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

在当今大数据时代下,数据质量的保证是大数据价值得以发挥的前提,数据质量的评估是其中一个重要的研究课题.本文基于规则库的数据质量评估方法,提出了数据质量评估整体模型,包括规则、规则库、数据质量评估指标、评估模板、评估报告.设计了规则评估模板,组合规则库中的规则,根据数据质量评估指标的重要性设置规则的权重,采用简单比率法和加权平均法相结合的评估方法,计算评估结果并确定数据质量的等级,利用了数据可视化技术来展现数据质量的评估结果.本文既考虑了单个规则的执行合格率,又考虑了各规则在数据质量评估模板中的比重,公正地准确地评估数据质量,并且简洁、直观地呈现评估结果.

引用

页码：165 / 169

页数：5

共 16 条

[1] 自动站实时数据质量分析及质控算法改进 [J].