面向自然语言处理的深度学习对抗样本综述

被引:11
作者
仝鑫
王斌君
王润正
潘孝勤
机构
[1] 中国人民公安大学信息网络安全学院
关键词
自然语言处理; 深度学习; 人工智能安全; 对抗样本; 鲁棒性;
D O I
暂无
中图分类号
TP391.1 [文字信息处理]; TP18 [人工智能理论];
学科分类号
081203 ; 0835 ; 081104 ; 0812 ; 1405 ;
摘要
深度学习模型被证明存在脆弱性并容易遭到对抗样本的攻击,但目前对于对抗样本的研究主要集中在计算机视觉领域而忽略了自然语言处理模型的安全问题。针对自然语言处理领域同样面临对抗样本的风险,在阐明对抗样本相关概念的基础上,文中首先对基于深度学习的自然语言处理模型的复杂结构、难以探知的训练过程和朴素的基本原理等脆弱性成因进行分析,进一步阐述了文本对抗样本的特点、分类和评价指标,并对该领域对抗技术涉及到的典型任务和数据集进行了阐述;然后按照扰动级别对主流的字、词、句和多级扰动组合的文本对抗样本生成技术进行了梳理,并对相关防御方法进行了归纳总结;最后对目前自然语言处理对抗样本领域攻防双方存在的痛点问题进行了进一步的讨论和展望。
引用
收藏
页码:258 / 267
页数:10
相关论文
共 7 条
[1]   视听觉深度伪造检测技术研究综述 [J].
梁瑞刚 ;
吕培卓 ;
赵月 ;
陈鹏 ;
邢豪 ;
张颖君 ;
韩冀中 ;
赫然 ;
赵险峰 ;
李明 ;
陈恺 .
信息安全学报, 2020, 5 (02) :1-17
[2]   对抗样本生成技术综述 [J].
潘文雯 ;
王新宇 ;
宋明黎 ;
陈纯 .
软件学报, 2020, 31 (01) :67-81
[3]   面向中文文本倾向性分类的对抗样本生成方法 [J].
王文琦 ;
汪润 ;
王丽娜 ;
唐奔宵 .
软件学报, 2019, 30 (08) :2415-2427
[4]   Long short-term memory [J].
Hochreiter, S ;
Schmidhuber, J .
NEURAL COMPUTATION, 1997, 9 (08) :1735-1780
[5]  
Generating natural language adversarial examples through probability weighted word saliency .2 REN S,DENG Y,HE K,et al. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics . 2019
[6]  
Ran-king a stream of news .2 GIANNA M D C,ANTONIO G,FRANCESCO R,et al. Proceedings of the 14th Internatio-nal Conference on World Wide Web . 2005
[7]  
Probing Neural Network Comprehension of Natural Language Arguments .2 NIVEN T,KAO H Y. . 2019