预训练语言模型的扩展模型研究综述

被引：13

作者：

阿布都克力木阿布力孜 ^{[1
,2
]}

张雨宁 ^{[1
]}

阿力木江亚森 ^{[1
]}

郭文强 ^{[1
]}

哈里旦木阿布都克里木 ^{[1
,2
]}

机构：

[1] 新疆财经大学信息管理学院

[2] 新疆财经大学丝路经济与管理研究院

来源：

计算机科学 | 2022年 / 49(S2)卷 / S2期

关键词：

自然语言处理; 预训练; 轻量化; 知识融合; 多模态; 跨语言;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

近些年，Transformer神经网络的提出，大大推动了预训练技术的发展。目前，基于深度学习的预训练模型已成为了自然语言处理领域的研究热点。自2018年底BERT在多个自然语言处理任务中达到了最优效果以来，一系列基于BERT改进的预训练模型相继被提出，也出现了针对各种场景而设计的预训练模型扩展模型。预训练模型从单语言扩展到跨语言、多模态、轻量化等任务，使得自然语言处理进入了一个全新的预训练时代。主要对轻量化预训练模型、融入知识的预训练模型、跨模态预训练语言模型、跨语言预训练语言模型的研究方法和研究结论进行梳理，并对预训练模型扩展模型面临的主要挑战进行总结，提出了4种扩展模型可能发展的研究趋势，为学习和理解预训练模型的初学者提供理论支持。

引用

页码：43 / 54

页数：12

共 29 条

[1] 基于深度学习的语言模型研究进展 [J].

王乃钰 ;

叶育鑫 ;

刘露 ;

凤丽洲 ;

包铁 ;

彭涛 .

软件学报, 2021, 32 (04) :1082-1115

[2] N-Reader:基于双层Self-attention的机器阅读理解模型 [J].

梁小波 ;

任飞亮 ;

刘永康 ;

潘凌峰 ;

侯依宁 ;

张熠 ;

李妍 .

中文信息学报, 2018, (10) :130-137

[3] 知识表示学习研究进展 [J].

刘知远 ;

孙茂松 ;

林衍凯 ;

谢若冰 .

计算机研究与发展, 2016, 53 (02) :247-261

[4]

K-BERT: Enabling Language Representation with Knowledge Graph[J] . Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang.Proceedings of the AAAI Conference on Artificial Intelligence . 2020 (03)

[5]

Cross-Lingual Natural Language Generation via Pre-Training[J] . Zewen Chi,Li Dong,Furu Wei,Wenhui Wang,Xian Ling Mao,Heyan Huang.Proceedings of the AAAI Conference on Artificial Intelligence . 2020 (05)

[6]

Unicoder-VL: A Universal Encoder for Vision and Language by Cross-Modal Pre-Training[J] . Gen Li,Nan Duan,Yuejian Fang,Ming Gong,Daxin Jiang.Proceedings of the AAAI Conference on Artificial Intelligence . 2020 (07)

[7]

Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT[J] . Sheng Shen,Zhen Dong,Jiayu Ye,Linjian Ma,Zhewei Yao,Amir Gholami,Michael W. Mahoney,Kurt Keutzer.Proceedings of the AAAI Conference on Artificial Intelligence . 2020 (05)

[8]

ActBERT: Learning global-local video-text representations[J] . Zhu L.,Yang Y..Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition . 2020

[9]

UNITER: Learning UNiversal Image-TExt Representations[J] . Yen-Chun Chen,Linjie Li,Licheng Yu,Ahmed El Kholy,Faisal Ahmed,Zhe Gan,Yu Cheng,Jingjing Liu.CoRR . 2019

[10]

VisualBERT: A Simple and Performant Baseline for Vision and Language[J] . Liunian Harold Li,Mark Yatskar,Da Yin,Cho-Jui Hsieh,Kai-Wei Chang.CoRR . 2019

← 1 2 3 →