数据质量检测规则挖掘方法

被引：7

作者：

刘波

耿寅融

机构：

[1] 暨南大学信息科学技术学院计算机科学系

来源：

模式识别与人工智能 | 2012年 / 25卷 / 05期

基金：

广东省自然科学基金;

关键词：

数据质量规则; 检测; 挖掘; 数据项分组;

D O I：

10.16451/j.cnki.issn1003-6059.2012.05.010

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

数据质量规则是检测数据库质量的关键.为从关系数据库中自动发现数据质量规则,并以其为依据检测错误数据,研究质量规则表示形式及其评估度量,提出以数据项分组及其可信度为依据的最小质量规则计算准则、挖掘算法以及采用质量规则检测错误数据的思路.该数据质量规则形式借鉴关联规则的可信度评估机制、条件函数依赖的表达能力,统一描述函数依赖、条件函数依赖、关联规则等,具有简洁、客观、全面、检测异常数据准确等特性.与相关研究相比,降低挖掘算法的时间复杂度,提高检错率.用实验证明该方法的有效性和正确性.

引用

页码：835 / 844

页数：10

共 10 条

[1]

Discovering Conditional Func-tional Dependencies. Fan W F,Geerts F,Li J Z,et al. IEEE Trans on Knowledge and Data Engi-neering . 2011

[2] 基于数据依赖的数据修复研究进展 [J].

胡艳丽 ;

张维明 ;

罗旭辉 ;

肖卫东 ;

汤大权 .

计算机科学, 2009, 36 (10) :11-15

[3]

Data quality mining:making a virtue of necessity. Hipp J,Guntzer U,Grimmer U. Workshop on Research Issues in Data Mining and Knowledge Discovery . 2001

[4]

Application of clustering and association methods in datacleaning. Ciszak L. Proc.of the International Multiconference onComputer Science and Information Technology . 2008

[5]

Conditional functional de-pendencies for capturing data inconsistencies. FAN Wen-fei,GEERTS F,JIA Xi-bei,et al. ACM Trans onDatabase Systems . 2008

[6]

TANE:An ef-ficient algorithm for discovering functional and approxi-mate dependencies. Huhtala Y,Ka¨rkk ainen J,Toivonen H. Computer Journal . 1999

[7]

Discovering Data Quality Rules. Fei Chiang,Ren Lee J Miller. PVLDB ‘08 . 2008

[8]

Sampling the repairs of functional dependency violations under hard constraints. G. Beskales,I. Ilyas,L. Golab. Proc. VLDB . 2010

[9] 采用属性相关分析的异常数据检测方法 [J].

刘波 ;

潘久辉 .

系统工程与电子技术, 2011, 33 (01) :202-207

[10] 内置谓词函数依赖及其推理规则 [J].

胡艳丽 ;

张维明 ;

肖卫东 ;

汤大权 ;

唐九阳 .

国防科技大学学报, 2009, 31 (05) :58-63

← 1 →