融合BERT词嵌入和注意力机制的中文文本分类

被引：19

作者：

孙红

陈强越

机构：

[1] 上海理工大学光电信息与计算机工程学院

来源：

小型微型计算机系统 | 2022年 / 43卷 / 01期

关键词：

文本分类; 自然语言处理; BERT; 深度学习;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理]; TP18 [人工智能理论];

学科分类号：

081203 ; 0835 ; 081104 ; 0812 ; 1405 ;

摘要：

文本分类是自然语言处理的一个重要领域.近年来,深度学习的方法被广泛应用于文本分类任务中.在处理大规模的数据时,为了兼顾分类的精度和处理效率,本文使用BERT训练词向量作为嵌入层,进一步优化输入语句的词向量,然后用双层的GRU网络作为主体网络,充分提取文本的上下文特征,最后使用注意力机制,将目标语句重点突出,进行文本分类.实验证明,BERT作为嵌入层输入时,有效优化了词向量.同时,文本提出的BBGA模型具有高效的处理能力,在处理THUCNews数据集时,达到了94.34%的精确度,比TextCNN高出5.20%,比BERTRNN高出1.01%.

引用

页码：22 / 26

页数：5

共 5 条

[1]

FastText.zip: Compressing text classification models..[J].Armand Joulin;Edouard Grave;Piotr Bojanowski;Matthijs Douze;Hervé Jégou;Tomas Mikolov.CoRR.2016,

[2]

TopicRNN: A Recurrent Neural Network with Long-Range Semantic Dependency..[J].Adji B. Dieng;Chong Wang 0002;Jianfeng Gao;John William Paisley.CoRR.2016,

[3]

Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling..[J].Junyoung Chung;Çaglar Gülçehre;KyungHyun Cho;Yoshua Bengio.CoRR.2014,

[4] Long short-term memory [J].

Hochreiter, S ;

Schmidhuber, J .

NEURAL COMPUTATION, 1997, 9 (08) :1735-1780

[5] 多特征融合的中文短文本分类模型 [J].

杨朝强 ;

邵党国 ;

杨志豪 ;

相艳 ;

马磊 .

小型微型计算机系统, 2020, 41 (07) :1421-1426

← 1 →