海量COMTRADE数据并行解析算法

被引：5

作者：

桂勋 ^{[1
]}

姚兰 ^{[2
]}

钱清泉 ^{[3
]}

机构：

[1] 电子科技大学空天科学技术研究院

[2] 成都信息工程学院控制工程系

[3] 西南交通大学电气工程学院自动化研究所

来源：

电力系统自动化 | 2009年 / 33卷 / 15期

关键词：

海量数据; 暂态数据交换通用格式(COMTRADE); 多核; 流水线; 并行解析; 电力系统;

D O I：

暂无

中图分类号：

TM769 [电子计算机在电力系统中的应用];

学科分类号：

080802 ;

摘要：

针对电力系统暂态监测数据向海量化发展的趋势,以及对各种串行编程分析软件造成的计算压力,研究了一种基于多核的、采用流水线设计思想的海量电力系统暂态数据交换通用格式(COMTRADE)数据文件并行解析算法。在面向二进制格式的并行解析算法中,采用了2阶段的流水线步骤:第1阶段为文件读取;第2阶段为多线程解析。在面向美国标准信息交换码(ASCII)格式的并行解析算法中,采用了3阶段的流水线步骤:前2个阶段与二进制格式的并行解析算法一样,第3阶段为块边缘解析,打破了传统的串行文本解析算法。算法通过有效利用以往被忽视的数据文件中的序号信息,大幅提升了并行解析的并行度。试验证明此算法可获得相当高的加速比,并且可随着CPU核数的增加和COMTRADE数据文件的加大获得线性加速比。

引用

页码：62 / 66

页数：5

共 7 条

[1] 基于提升小波和混合熵编码的数据压缩方法 [J].