人工智能系统安全与隐私风险

被引：47

作者：

陈宇飞 ^{[1
,2
]}

沈超 ^{[1
,2
]}

王骞 ^{[3
]}

李琦 ^{[4
]}

王聪 ^{[5
]}

纪守领 ^{[6
,7
]}

李康 ^{[8
]}

管晓宏 ^{[1
,2
]}

机构：

[1] 智能网络与网络安全教育部重点实验室(西安交通大学)

[2] 西安交通大学电子与信息学部

[3] 武汉大学网络安全学院

[4] 清华大学网络科学与网络空间研究院

[5] 香港城市大学计算机科学系

[6] 浙江大学网络空间安全研究中心

[7] 浙江大学计算机科学与技术学院

[8] 乔治亚大学计算机科学系

来源：

计算机研究与发展 | 2019年 / 56卷 / 10期

关键词：

智能系统安全; 系统安全; 数据处理; 人工智能; 深度学习;

D O I：

暂无

中图分类号：

TP18 [人工智能理论]; TP309 [安全保密];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 081201 ; 0839 ; 1402 ;

摘要：

人类正在经历着由深度学习技术推动的人工智能浪潮,它为人类生产和生活带来了巨大的技术革新.在某些特定领域中,人工智能已经表现出达到甚至超越人类的工作能力.然而,以往的机器学习理论大多没有考虑开放甚至对抗的系统运行环境,人工智能系统的安全和隐私问题正逐渐暴露出来.通过回顾人工智能系统安全方面的相关研究工作,揭示人工智能系统中潜藏的安全与隐私风险.首先介绍了包含攻击面、攻击能力和攻击目标的安全威胁模型.从人工智能系统的4个关键环节——数据输入(传感器)、数据预处理、机器学习模型和输出,分析了相应的安全隐私风险及对策.讨论了未来在人工智能系统安全研究方面的发展趋势.

引用

页码：2135 / 2150

页数：16

共 8 条

[1] 基于图模型的自动驾驶推理任务调度
王娟娟
乔颖
王宏安
[J]. 计算机研究与发展, 2017, 54 (08) : 1693 - 1702
[2] 基于深层神经网络的多特征关联声学建模方法
范正光
屈丹
闫红刚
张文林
[J]. 计算机研究与发展, 2017, (05) : 1036 - 1044
[3] Making Machine Learning Robust Against Adversarial Inputs
Goodfellow, Ian
McDaniel, Patrick
Papernot, Nicolas
[J]. COMMUNICATIONS OF THE ACM, 2018, 61 (07) : 56 - 66
[4] Resolving Individuals Contributing Trace Amounts of DNA to Highly Complex Mixtures Using High-Density SNP Genotyping Microarrays
Homer, Nils
Szelinger, Szabolcs
Redman, Margot
Duggan, David
Tembe, Waibhav
Muehling, Jill
Pearson, John V.
Stephan, Dietrich A.
Nelson, Stanley F.
Craig, David W.
[J]. PLOS GENETICS, 2008, 4 (08)
[5] DolphinAttack:Inaudible voice commands. Zhang Guoming,Yan Chen,Ji Xiaoyu.et al. Proc of 2017ACM SIGSAC Conf on Computer and Communications Security . 2017
[6] IBM watson. IBM. https://www.ibm.com/watson . 2019
[7] Knock knock who’’s there?Membership inference on aggregate location data. Pyrgelis A,Troncoso C,De Cristofaro E. Proc of the 25th Annual Network and Distributed System Security Symp （NDSS 2018） . 2018
[8] Skill squatting attacks on amazon alexa. Kumar D,Paccagnella R,Murley P,et al. Proc of the 27th USENIX Security Symp （USENIX Security’’18） . 2018

← 1 →