多特征融合的中文短文本分类模型

被引：14

作者：

杨朝强

邵党国

杨志豪

相艳

马磊

机构：

[1] 昆明理工大学信息工程与自动化学院

来源：

小型微型计算机系统 | 2020年 / 41卷 / 07期

关键词：

中文短文本分类; 字词向量结合; 特征融合; Self-attention模型;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

针对中文短文本的特征提取中存在特征稀疏的局限性,本文提出了一种基于多特征融合的短文本分类模型(Multi-feature fusion model,M FFM).首先,通过字词向量结合的方式构建新的文本表示;其次,通过BILSTM (Bi-directional Long ShortTerm Memory)、CNN(Convolutional Neural Networks)和CAPSNET(Capsule Network)模型对短文本进行不同层面的特征提取,并使用Self-attention模型动态调节各模型特征在最终特征构建中的权重系数.在实验部分,本文用MFFM方法与四个短文本分类经典模型(CNN、BILSTM、CAPSNET和CNN-BILSTM)在三个中文短文本数据集上进行验证,为了进一步验证数据融合(将三个中文短文本数据正负样本融合)对MFFM的影响,实验结果表明MFFM模型性能在四个评价指标(F1、Recall、Precision、Accuracy)下优于对比模型.总之,这可表明M FFM是短文本分类模型的一个有用框架.

引用

页码：1421 / 1426

页数：6

共 10 条

[1] 基于LSTM的蒙汉机器翻译的研究 [J].

刘婉婉 ;

苏依拉 ;

乌尼尔 ;

仁庆道尔吉 .

计算机工程与科学, 2018, 40 (10) :1890-1896

[2]

Relation Classification via Recurrent Neural Network with Attention and Tensor Layers [J]. Runyan Zhang,Fanrong Meng,Yong Zhou,Bing Liu.&nbsp&nbspBig Data Mining and Analytics. 2018(03)

[3] 利用《知网》和领域关键词集扩展方法的短文本分类研究 [J].

李湘东 ;

曹环 ;

丁丛 ;

黄莉 .

现代图书情报技术, 2015, (02) :31-38

[4]

Short Texts Classification Through Reference Document Expansion [J]. YANG Zhen,FAN Kefeng,LAI Yingxu,GAO Kaiming,WANG Yong.&nbsp&nbspChinese Journal of Electronics. 2014(02)

[5] Chinese comments sentiment classification based on word2vec and SVMperf [J].

Zhang, Dongwen ;

Xu, Hua ;

Su, Zengcai ;

Xu, Yunfeng .

EXPERT SYSTEMS WITH APPLICATIONS, 2015, 42 (04) :1857-1863

[6]

Statistical topic models for multi-label document classification [J] . Timothy Rubin,America Chambers,Padhraic Smyth,Mark Steyvers.&nbsp&nbspMachine Learning . 2012 (1)

[7] Advertising Keywords Recommendation for Short-Text Web Pages Using Wikipedia [J].

Zhang, Weinan ;

Wang, Dingquan ;

Xue, Gui-Rong ;

Zha, Hongyuan .

ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY, 2012, 3 (02)

[8]

Latent semantic analysis [J] . Susan T.Dumais.&nbsp&nbspAnn. Rev. Info. Sci. Tech. . 2005 (1)

[9]

Finding function in form:compositional character models for open vocabulary word representation .2 Ling Wang,Luis Tiago,Marujo Luis,Astudillo Ramon Fernandez,Amir Silvio,Dyer Chris,Black Alan W,Trancoso Isabel. Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing . 2015

[10]

Dynamic Routing Between Capsules .2 Sara Sabour,Nicholas Frosst,Geoffrey E.Hinton. Neural Information Processing Systems (NIPS) . 2017

← 1 →