计算语言学中的语言模型

计算语言学中的语言模型可以分为基于规则的语言模型、基于统计的语言模型、基于神经网络的语言模型三种类型。基于规则的语言模型主要有短语结构语法模型和依存语法模型,此类语言模型在某些"子语言"的计算语言学应用系统中获得了一定的成功,但用它们来处理真实文本仍有很大的困难。基于统计的语言模型十分重视统计在模型构建中的作用,语言学知识主要使用概率和统计的计算从大规模真实的语料库中获取,这样获得的知识能够更加全面、准确地反映自然语言的真实面貌,因此,基于统计的语言模型在计算语言学中广泛地流行开来。21世纪以来出现了基于神经网络的语言模型,该模型比基于统计的语言模型更胜一筹,占据了当前自然语言处理研究的主流地位。