分布式深度学习隐私与安全攻击研究进展与挑战

被引：22

作者：

周纯毅 ^{[1
,2
]}

陈大卫 ^{[1
]}

王尚 ^{[1
]}

付安民 ^{[1
,2
]}

高艳松 ^{[1
]}

机构：

[1] 南京理工大学计算机科学与工程学院

[2] 桂林电子科技大学广西可信软件重点实验室

来源：

计算机研究与发展 | 2021年 / 05期

关键词：

深度学习; 分布式深度学习; 隐私攻击; 隐私保护; 后门攻击;

D O I：

暂无

中图分类号：

TP18 [人工智能理论]; TP309 [安全保密];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 081201 ; 0839 ; 1402 ;

摘要：

不同于集中式深度学习模式,分布式深度学习摆脱了模型训练过程中数据必须中心化的限制,实现了数据的本地操作,允许各方参与者在不交换数据的情况下进行协作,显著降低了用户隐私泄露风险,从技术层面可以打破数据孤岛,显著提升深度学习的效果,能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次,从隐私攻击角度,全面阐述了分布式深度学习所面临的各类隐私攻击,并归纳和分析了现有隐私攻击防御手段.同时,从安全攻击角度,深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁,并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后,从隐私与安全攻击角度,对分布式深度学习未来的研究方向进行了讨论和展望.

引用

页码：927 / 943

页数：17

共 22 条

[1] AI与数据隐私保护：联邦学习的破解之道 [J].

杨强 .

信息安全研究, 2019, 5 (11) :961-965

[2] AI安全——对抗样本技术综述与应用 [J].

陈岳峰 ;

毛潇锋 ;

李裕宏 ;

何源 ;

薛晖 .

信息安全研究, 2019, 5 (11) :1000-1007

[3] 人工智能系统安全与隐私风险 [J].

陈宇飞 ;

沈超 ;

王骞 ;

李琦 ;

王聪 ;

纪守领 ;

李康 ;

管晓宏 .

计算机研究与发展, 2019, 56 (10) :2135-2150

[4] 机器学习在网络空间安全研究中的应用 [J].

张蕾 ;

崔勇 ;

刘静 ;

江勇 ;

吴建平 .

计算机学报, 2018, 41 (09) :1943-1975

[5] 深度学习应用于网络空间安全的现状、趋势与展望 [J].

张玉清 ;

董颖 ;

柳彩云 ;

雷柯楠 ;

孙鸿宇 .

计算机研究与发展, 2018, 55 (06) :1117-1142

[6]

RNN-DP: A new differential privacy scheme base on Recurrent Neural Network for Dynamic trajectory privacy protection[J] . Si Chen,Anmin Fu,Jian Shen,Shui Yu,Huaqun Wang,Huaijiang Sun.Journal of Network and Computer Applications . 2020 (prep)

[7]

A training-integrity privacy-preserving federated learning scheme with trusted execution environment[J] . Yu Chen,Fang Luo,Tong Li,Tao Xiang,Zheli Liu,Jin Li.Information Sciences . 2020 (prep)

[8]

VerifyNet: Secure and Verifiable Federated Learning[J] . Guowen Xu,Hongwei Li,Sen Liu,Kan Yang 0001,Xiaodong Lin.IEEE Trans. Information Forensics and Security . 2020

[9]

Privacy-Preserving Federated Learning in Fog Computing[J] . Chunyi Zhou,Anmin Fu,Shui Yu,Wei Yang,Huaqun Wang,Yuqing Zhang.IEEE Internet of Things Journal . 2020 (99)

[10]

NPMML: A Framework for Non-interactive Privacy-preserving Multi-party Machine Learning[J] . Li Tong,Li Jin,Chen Xiaofeng,Liu Zheli,Lou Wenjing,Hou Thomas.IEEE Transactions on Dependable and Secure Computing . 2020

← 1 2 3 →