基于隐马尔科夫模型的中文分词研究

被引：14

作者：

魏晓宁

机构：

[1] 南通大学计算机科学与技术学院

来源：

电脑知识与技术(学术交流) | 2007年 / 21期

关键词：

自动分词; 隐马尔科夫模型(HMM); N-最短路径粗切分; 统计模型;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

一直以来,汉语自动分词是公认的汉语信息处理瓶颈。反思现有汉语自动分词技术,发现均有隐含两大假设:语言是规律的、词具有确定边界。这与语言的复杂性、组合性、动态性、模糊性特征不符。本文采用一种基于隐马尔科夫模型(HMM)的算法,通过CHMM(层叠形马尔科夫模型)进行分词,再做分层,既增加了分词的准确性,又保证了分词的效率。

引用

页码：885 / 886

页数：2