基于条件随机场的中文领域分词研究

被引:15
作者
朱艳辉
刘璟
徐叶强
田海龙
马进
机构
[1] 湖南工业大学计算机与通信学院
关键词
中文分词; 条件随机场; 领域自适应; 歧义消解; 领域分词; 逆向最大匹配算法;
D O I
暂无
中图分类号
TP391.1 [文字信息处理];
学科分类号
081203 ; 0835 ;
摘要
针对条件随机场分词不具有良好的领域自适应性,提出一种条件随机场与领域词典相结合的方法提高领域自适应性,并根据构词规则提出了固定词串消解,动词消解,词概率消解三种方法消除歧义。实验结果表明,该分词流程和方法,提高了分词的准确率和自适应性,在计算机领域和医学领域的分词结果 F值分别提升了7.6%和8.7%。
引用
收藏
页码:97 / 100
页数:4
相关论文
共 8 条
[1]   中文分词模型的领域适应性方法 [J].
韩冬煦 ;
常宝宝 .
计算机学报, 2015, 38 (02) :272-281
[2]   基于改进最大匹配算法的中文分词粗分方法 [J].
周俊 ;
郑中华 ;
张炜 .
计算机工程与应用, 2014, 50 (02) :124-128
[3]   改进的基于词典的中文分词方法 [J].
莫建文 ;
郑阳 ;
首照宇 ;
张顺岚 .
计算机工程与设计, 2013, 34 (05) :1802-1807
[4]   词典与统计方法结合的中文分词模型研究及应用 [J].
蒋建洪 ;
赵嵩正 ;
罗玫 .
计算机工程与设计, 2012, 33 (01) :387-391
[5]   二次回溯中文分词方法 [J].
袁健 ;
张劲松 ;
马良 .
计算机应用研究, 2009, 26 (09) :3321-3323
[6]   基于字位置概率特征的条件随机场中文分词方法 [J].
沈勤中 ;
周国栋 ;
朱巧明 ;
孔芳 ;
丁金涛 .
苏州大学学报(自然科学版), 2008, (03) :49-54
[7]   中文分词十年回顾 [J].
黄昌宁 ;
赵海 .
中文信息学报, 2007, (03) :8-19
[8]   基于有向图的双向匹配分词算法及实现 [J].
陈耀东 ;
王挺 .
计算机应用, 2005, (06) :1442-1444