基于有向图的双向匹配分词算法及实现

被引:9
作者
陈耀东
王挺
机构
[1] 国防科学技术大学计算机学院,国防科学技术大学计算机学院湖南长沙,湖南长沙
关键词
句子覆盖率; 分词覆盖率; 双向最大匹配算法; 全切分; 网络有向图;
D O I
暂无
中图分类号
TP391.1 [文字信息处理];
学科分类号
081203 ; 0835 ;
摘要
在分析了现有各种汉语分词算法及其优缺点的基础上,提出以句子覆盖率和分词覆盖率作为评价分词方法的指标,详细介绍了基于网络有向图的双向匹配分词算法的设计与实现,该算法对经典的最大匹配分词算法进行了改进,通过带覆盖歧义标志的有向图生成多候选分词序列。与最大匹配算法和全切分算法的比较实验显示,基于有向图的双向匹配算法以低复杂度实现了高覆率盖。
引用
收藏
页码:1442 / 1444
页数:3
相关论文
共 10 条
[1]   书面汉语的全切分分词算法模型 [J].
万建成 ;
杨春花 .
小型微型计算机系统, 2003, (07) :1247-1251
[2]   汉语自动分词研究评述 [J].
孙茂松 ;
邹嘉彦 .
当代语言学, 2001, (01) :22-32+77
[3]   交集型歧义字段切分方法研究 [J].
闫引堂 ;
周晓强 .
情报学报, 2000, (06) :637-643
[4]   串频统计和词形匹配相结合的汉语自动分词系统 [J].
刘挺 ;
吴岩 ;
王开铸 .
中文信息学报, 1998, (01) :18-26
[5]   一种改进的MM分词方法的算法设计 [J].
骆正清 ;
陈增武 ;
胡上序 .
中文信息学报, 1996, (03) :30-36
[6]   论汉语自动分词方法 [J].
揭春雨 ;
刘源 ;
梁南元 .
中文信息学报, 1989, (01) :1-9
[7]   汉语自动分词及歧义组合结构的处理 [J].
李国臣 ;
刘开瑛 ;
张永奎 .
中文信息学报, 1988, (03) :27-33
[8]   书面汉语自动分词系统—CDWS [J].
梁南元 .
中文信息学报, 1987, (02) :44-52
[9]  
自然语言理解与机器翻译.[M].黄昌宁;张普主编;.清华大学出版社.2001,
[10]  
中文文本自动分词和标注.[M].刘开瑛著;.商务印书馆.2000,