READ-2315 Data Poisoning Attacks Against Federated Learning Systems

论文名称 Data Poisoning Attacks Against Federated Learning Systems
作者 Vale Tolpegin, Stacey Truex, Mehmet Emre Gursoy, Ling Liu
来源 ESORICS 2020
领域 Machine Learning - Federal learning - Security - Defence – Targeted data poisoning attack
问题 拜占庭弹性聚合方案在一定程度上可以防御数据投毒攻击,但尚不清楚是否存在有效的数据投毒攻击来规避单个或多个拜占庭弹性聚合方案
方法 从高维的更新向量提取相关参数,使用PCA进行降维后,检测恶意参数
创新 降维

阅读记录

一、攻击模型
  1. 攻击类型
    (1)多个恶意客户端进行有目标攻击:标签翻转攻击
    (2)服务器是诚实不受控制的
    (3)数据分布:iid
  2. 攻击能力
    (1)攻击者只能操控自己的数据集和学习过程
    (2)攻击者只能改变数据,不能改变学习算法
  3. FL中的标签翻转攻击
    (1)即使恶意客户端占比较小,攻击者也可以对全局模型产生有效攻击
    (2)攻击者可以进行有目标攻击,从而更不容易被检测出来
    (3)若在通信早期中投毒,全局模型仍然可以收敛;若在通信后期中投毒,攻击性更强
  4. 标签翻转攻击类型
    (1)在无攻击情况下,原标签常被误判为目标标签
    (2)在无攻击情况下,原标签极少被误判为目标标签
    (3)在前两种极端情况之间
二、防御

1.思路:与诚实参与者的更新相比,恶意参与者的更新具有独特的特征。然而,DNN参数较多,需要手动分析参数更新
2.防御
在这里插入图片描述
(1)由于给定类的预测概率由DNN架构中最后一层决定,仅选取最后一层结点的参数,并添加到聚合器构建的全局列表U中。
(2)在多轮通信后,通过去除平均值并缩放到单位方差来标准化U
(3)标准化列表U0被输入主成分分析(PCA)
(4)为了便于可视化,绘制有两个组件的二维结果


总结

针对有目标投毒攻击,攻击者的目标是在维持其他类的识别准确率的前提下,降低目标类的识别准确率。对此不由得思考:有目标攻击者的模型更新只是在特定维度上不可用,但非目标类的相关神经元仍具有可用性。

Logo

一站式 AI 云服务平台

更多推荐