安全联邦学习进化优化算法综述

刘奇奇 ,  严宇萍 ,  金耀初 ,  王曦璐 ,  Peter Ligeti ,  喻果 ,  颜学明

工程（英文） ›› 2024, Vol. 34 ›› Issue (3) : 24 -45.

PDF (2073KB)
工程（英文） ›› 2024, Vol. 34 ›› Issue (3) : 24 -45. DOI: 10.1016/j.eng.2023.10.006
研究论文

安全联邦学习进化优化算法综述

作者信息 +

Secure Federated Evolutionary Optimization—A Survey

Author information +
文章历史 +
PDF (2122K)

摘要

随着边缘设备和云计算的发展，在过去的十年中，如何在保护隐私和安全的前提下完成机器学习和优化任务受到了越来越多的关注。联邦学习（FL）作为一种保护隐私的分布式机器学习方法，在过去的几年中已经得到了广泛的关注。然而，在优化问题中也会出现数据隐私保护问题，这一点到目前为止还很少受到关注。本文对此进行了研究，重点关注数据驱动的进化优化下的隐私保护问题，旨在通过总结机器学习和优化算法领域共通的安全机制和隐私保护方法，提供一个从安全隐私保护联邦学习到安全隐私保护联邦优化的知识路线图。本文首先对机器学习中的安全和隐私问题进行了明确定义，然后对联邦学习方法和加密隐私保护技术进行了全面的回顾。然后，本文对隐私保护优化这一新兴领域展开了讨论，涵盖了从隐私保护的分布式优化、隐私保护的进化优化以及隐私保护的贝叶斯优化。之后本文进一步从推理攻击和主动攻击的角度，对贝叶斯优化和进化优化方法进行了全面的安全性分析。在此基础上，深入讨论了哪些联邦学习和分布式优化策略可以用于联邦优化的设计，以及应用这些策略需要哪些额外的条件。最后，本文概述了联邦数据驱动优化中的悬而未决的问题和尚存的挑战。本文为联邦学习和联邦优化之间的关联提供了崭新的见解，并提升学术界对安全联邦优化的研究兴趣。

Abstract

With the development of edge devices and cloud computing, the question of how to accomplish machine learning and optimization tasks in a privacy-preserving and secure way has attracted increased attention over the past decade. As a privacy-preserving distributed machine learning method, federated learning (FL) has become popular in the last few years. However, the data privacy issue also occurs when solving optimization problems, which has received little attention so far. This survey paper is concerned with privacy-preserving optimization, with a focus on privacy-preserving data-driven evolutionary optimization. It aims to provide a roadmap from secure privacy-preserving learning to secure privacy-preserving optimization by summarizing security mechanisms and privacy-preserving approaches that can be employed in machine learning and optimization. We provide a formal definition of security and privacy in learning, followed by a comprehensive review of FL schemes and cryptographic privacy-preserving techniques. Then, we present ideas on the emerging area of privacy-preserving optimization, ranging from privacy-preserving distributed optimization to privacy-preserving evolutionary optimization and privacy-preserving Bayesian optimization (BO). We further provide a thorough security analysis of BO and evolutionary optimization methods from the perspective of inferring attacks and active attacks. On the basis of the above, an in-depth discussion is given to analyze what FL and distributed optimization strategies can be used for the design of federated optimization and what additional requirements are needed for achieving these strategies. Finally, we conclude the survey by outlining open questions and remaining challenges in federated data-driven optimization. We hope this survey can provide insights into the relationship between FL and federated optimization and will promote research interest in secure federated optimization.

关键词

联邦学习 / 隐私保护 / 安全 / 进化优化 / 数据驱动优化 / 贝叶斯优化

Key words

Federated learning / Privacy-preservation / Security / Evolutionary optimization / Data-driven optimization / Bayesian optimization

引用本文

引用格式 ▾
刘奇奇,严宇萍,金耀初,王曦璐,Peter Ligeti,喻果,颜学明. 安全联邦学习进化优化算法综述[J]. 工程（英文）, 2024, 34(3): 24-45 DOI:10.1016/j.eng.2023.10.006

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

在过去的十年中，深度学习的巨大成功部分归功于大数据的运用。在许多情况下，大量边缘设备收集的数据被发送至中央服务器，进而用于训练深度学习模型。然而，这一过程可能会导致人们对数据安全和隐私性的严重担忧。为解决这些问题，联邦学习（FL）[1‒2]概念被提出，通过共享在本地原始数据上训练的本地模型参数或梯度来训练全局模型，从而满足共享敏感数据的要求。值得注意的是，联邦学习的训练框架和技术设定符合《通用数据保护条例》（GDPR）[3]。

尽管在最受关注的横向联邦学习 [2,4]中没有将原始数据传输到服务器或其他本地设备，但恶意攻击者仍然可以在学习过程[5]中通过传输的梯度推断出其他客户端的私人信息。因此，恶意攻击——如中毒攻击、推理攻击、后门攻击和许多其他攻击——可能会对联邦学习方案[6]构成安全威胁。因此，联邦学习通常采用安全计算技术以及加密和差分隐私[7]等其他保护隐私的计算技术，以更严格地保护私人数据的隐私和安全。基于服务器-客户端的联邦学习结构中的另一个隐患是通信信道的安全性。窃听者可以获得在通信信道中传输的所有信息，从而推断出敏感信息。因此，安全的学习算法也必须建立安全的通信。用户名-密码身份验证、超文本传输协议和传输层安全协议是联邦学习框架中用于构建安全通信和可信执行环境的标准方法[8]。

机器学习的安全和隐私保护问题吸引了大量关注，但优化算法中的隐私和安全关注较少，特别是在数据驱动优化[9‒10]或代理辅助优化[11‒12]算法中，这些优化器依赖数据来解决黑盒优化问题并找到最优解。大多数关于进化计算和贝叶斯优化的研究都基于一个基本假设，即优化任务的所有资源都保存在一个设备上。然而，当多个客户希望在不共享敏感信息的情况下协作优化某一个任务时，自然会产生现有机制是否仍然适用的问题。此外，鉴于多个客户端的参与，必须优先考虑它们之间的信息传输的安全性。

值得一提的是，与机器学习任务不同，优化任务中需要保护的数据不仅包括用于优化的原始数据，还包括目标函数和全局最优中的参数设置。然而，常用的优化算法，如梯度法、进化算法[13‒14]、贝叶斯优化[10]和交替方向乘子法（ADMM，针对分布式优化）[15]，很少考虑隐私保护。

1.1 相关研究

由于联邦学习的快速发展，多篇综述从不同角度和不同侧重点概述了最新的相关进展和应用。一些综述试图对联邦学习的基础和现状进行全面概述[6,16‒19]。例如，参考文献[19]从数据分布、通信架构和隐私保护机制的角度详细介绍和讨论了联邦学习方案，而综述[8,16]更加关注安全和隐私保护。Lyu等[6]讨论了基本联邦学习方案的各种漏洞和可能遭受的攻击，如中毒攻击和推理攻击等。此外，Mothukuri等[16]概述了针对联邦学习中独有的安全威胁进行防御以及隐私保护和增强的技术。Truong 等[8]从GDPR的角度讨论了联邦学习中采用的隐私保护方案的有效性，认为一些联邦学习中的隐私保护方法可能不符合GDPR标准。最近，Cao等[20]从贝叶斯学习的角度总结了关于联邦学习的最新研究。然而这些研究的主要重点是联邦学习，而关于联邦优化的研究却极少。

很少有综述关注优化中的隐私保护和安全机制，而这其中更是只有几篇是关注分布式优化的[21‒24]。Yang等[22]根据算法是离散时间还是连续时间来对分布式优化算法进行分类。由Molzahn等[24]发表的一篇综述专注于分布式优化算法在电力系统中的应用，可分为在线和离线两种方式。但是，这些研究都没有谈及隐私保护和安全技术[22‒24]。Weeraddana 等[21]探讨了关于有无中央服务器节点的安全分布式优化的早期观点，其中实现了诸如密码学方法、基于转换的方法和基于分解的方法等的隐私保护技术。最近，Li 等[23]总结了基于一般互信息的信息论度量指标，并将分布式优化中现有的隐私保护技术与分布式处理联系起来。研究人员还讨论了被动和窃听对抗模型，为未来的隐私保护和安全分布式优化算法的设计提供了有用的指导。

但是，上述研究所讨论的分布式优化通常假设解析函数可用于制定目标和约束条件，并采用传统的数学规划技术来解决问题。而对于可以处理无显式表达式问题的进化算法，Zhao 等[25]则简要总结了基于三种典型优化范式的隐私保护策略。

1.2 动机

到目前为止，还没有发表安全和隐私保护的数据驱动优化的相关研究，包括贝叶斯优化 [10,26]和数据驱动的进化优化[9,27]——它们依靠数据来解决复杂的优化问题。事实上，隐私保护的数据驱动优化，如联邦贝叶斯优化或数据驱动的联邦进化优化，是一个新兴的课题，只有零星的研究成果被报道。

1.3 研究范围

本研究旨在全面概述安全和隐私保护数据驱动优化的背景和最新进展，介绍了各种安全和隐私保护技术，讨论了安全与隐私保护之间的关系，详细阐述了机器学习和优化中安全和隐私保护要求的异同，并概述了未来的研究课题。为了更深入地了解隐私保护和安全进化优化的研究领域，本研究首先简要概述了分布式优化和联邦学习，包括在这些领域遇到的挑战，分析在隐私保护和安全进化优化、分布式优化和隐私保护的贝叶斯优化中实现加密措施或联邦/分布式结构方面存在共同的问题和挑战。例如，在分布式优化中，与差分隐私相关的噪声在整个优化迭代过程中减小到零，以确保收敛性。类似地，在联邦或隐私保护的贝叶斯优化中，有必要检验噪声大小和算法收敛性之间的平衡。本研究还回顾了隐私保护的贝叶斯优化，因为其中设立的许多填充抽样标准被广泛应用于数据驱动的进化优化，以实现有效的代理模型管理，这与安全的进化优化密切相关。

本研究希望能够为安全和隐私保护的进化优化奠定坚实的基础，提高研究人员在优化中考虑安全和隐私保护的兴趣，并促进这一新兴领域的研究。

1.4 结构

本综述的余下部分结构如下：第2节首先介绍了与本研究相关的基本定义和概念，包括联邦学习和优化、安全、隐私保护以及主要的隐私保护计算技术。第3节介绍了联邦学习的基本原理，包括其研究历史和在隐私保护方面的主要研究领域。第4节首先介绍了学习和优化之间的区别，然后提供了关于隐私保护的贝叶斯优化、进化算法、分布式优化和联邦优化的全面文献综述。第5节是本文的主要部分，总结了安全优化的挑战，并提出了开放的问题和未来的方向。最后，第6节对本研究进行了总结。本文的主要结构如图1所示。

2 定义和术语

本节将介绍联邦学习和联邦优化、安全保护以及隐私保护的正式定义。这里需要注意的是，虽然安全和隐私是密切相关的概念，但它们有不同的重点。然后，本节介绍了各种隐私保护计算技术，包括原始差分隐私、同态加密[28]、多方计算（MPC）[29]、秘密共享[30]、不经意传输以及混淆电路。这些方案是被广泛用于实现安全和隐私性的加密组件。

2.1 联邦学习和优化的定义

为了提供一个从安全联邦学习到安全联邦优化的知识路线图，必须阐明机器学习和优化之间的关系，这就需要引入学习目标和优化目标的数学定义。

2.1.1 联邦学习的目标

给定一组训练数据集 D = D 1 ,   D 2 , … , D K，其中每个数据集 D i 由若干对 z , l 组成， z 和 l 分别是学习任务中的属性和相应的标签； K 是客户端的数量。联邦学习的目标是从所有可能的假设中近似出一个函数 F ^，以最小化数据集 D的预期损失值。

F ^ = a r g m i n Θ   ( L ( l , F ( z ) ) )

其中， L l , F z是 F z对标签 l的损失， Θ是期望， F z 是 z的预测标签。

2.1.2 优化的目标

优化问题的定义如下。

m i n   F = ( f 1 ( x ) , f 2 ( x ) , … , f M ( x ) ) s u b j e c t   t o   x = ( x 1 , x 2 , … , x D ) , x ∈ R D

其中， x为优化任务中 D维决策空间 R D中的 D个决策变量组成的向量， R 表示决策空间中的一个维度， F是由 M个单目标函数组成的多目标函数，其中单目标函数记为 f 1 , f 2 , … , f M， M是目标的数量。当 M = 1时，等式（2）表示单目标优化问题；当 M > 1时，等式（2）表示多目标优化问题。

2.2 安全保护

在机器学习或强化学习中，模型的性能和可用性可能会由于来自内部或外部的、被动或主动的攻击而降低，而安全保护就是保护模型免受此类攻击的机制。为确保系统的可用性，它保护用户的数据不被恶意方窃取或攻击。信息安全中最重要的三大支柱，通常被称为“CIA 三要素”。作为组织评估自身安全能力和风险的指导方针，CIA 三要素模型包括三个核心安全属性：机密性、完整性和可用性[31]，定义如下：

• 机密性：只有被授权的人员才可以访问该信息或系统。

• 完整性：只有被授权的人员或应用程序才能更改系统或信息。不允许进行未经授权的修改。

• 可用性：需要时，授权各方可使用信息资产。

在信息安全方面，另一个基本要求是定义一个对抗模型，将参与者的能力形式化。参与者的行为可分为诚实、半诚实和恶意三种设置，定义如下：

• 诚实：诚实的参与者严格遵守协议，保护数据不被泄露。

• 半诚实：半诚实的参与者诚实地遵守协议，但可能会试图从合法收到的信息中尽可能多地学习。这也被称为诚实但又好奇的一方。

• 恶意：恶意的参与者可能以任何可能的方式偏离协议，以了解有关其他各方输入的信息。

2.3 隐私保护

在参考文献[18]中，隐私保护被定义为敏感个人信息的非公开暴露。在联邦学习中，隐私保护是指对敏感用户信息（如用户的本地数据、梯度和训练模型）的保护。为确保隐私，有必要保护用户数据不会在未经数据所有者同意或知情的情况下被第三方泄露。鉴于数据隐私的重要性，已经建立了GDPR等法律限制，以防止敏感用户数据被滥用。

大多数隐私保护方案可以分为非加密技术和加密技术。图2显示了隐私保护技术的分类。在非加密技术中，研究人员使用不同的方案来保护数据隐私。在这些解决方案中，最受欢迎的方案是联邦学习、基于硬件的可信执行环境、非扰动掩蔽方法（主要是匿名化和扰动掩蔽）。匿名化方案分为k-匿名[32]、l-多样性[33]和t-亲密度[34]。扰动掩蔽方法是在敏感信息中添加噪声，其中最经典的方法是差分隐私。加密技术在数据保护方面发挥了强大的作用。在密码学中，这些技术可分为普通加密（如对称加密）、非对称加密、基于身份的加密、基于属性的加密、可搜索加密、同态加密、安全MPC、秘密共享和不经意传输等。其中一些方法已经在隐私保护的联邦学习或优化中实现。有关一些算法的详细信息，请参见第2.4节。

2.4 数据安全和隐私保护方案

基本的联邦学习框架通常不足以严格保护安全和隐私。因此，已有许多不同的密码学基本方法应用在联邦学习中。需要注意的是，这些密码学基本方法也可以在隐私保护的进化/贝叶斯优化和联邦优化中实现，以增强隐私保护和安全性。为了理解这些方案，我们更详细地介绍了在联邦学习中使用的最流行的加密技术，包括差分隐私、同态加密和安全MPC。

2.4.1 差分隐私

差分隐私最初是由Dwork [7]于2008年提出的。差分隐私作为一种基于扰动的隐私保护方法，其核心思想是添加噪声，以确保个体信息的统计隐私性。根据噪声的添加位置，将联邦学习中的差分隐私分为全局差分隐私和本地差分隐私。本地差分隐私是将噪声直接插入到原始数据中，服务器接收噪声扰动的数据并且不需要受信任。但是这对精度有显著的影响，因为噪声的加入显著地改变了原始数据。相比之下，在全局（中央）差分隐私中，服务器会聚合客户端的结果，并在发布这些结果之前屏蔽它们。在这种情况下，噪声会影响受信赖的服务器，但会保持一定的准确性。

定义1（ ( ε , δ )-DP）：一个随机算法 M是 ε , δ-DP，即对任意 S ⊆ R a n g e ( M )和任意 D   '邻接数据集都有：

P M D ∈ S ≤ e ε P M D ' ∈ S + δ

其中， P表示概率， S表示 M的所有可能结果，参数 ε 称为信息泄露的“隐私损失”，而参数 δ 表示信息泄露的概率。参数 ε 度量了随机算法 M 的保护能力，其值越小，算法对隐私的保护能力越强。这是因为噪声生成函数，例如拉普拉斯噪声机制，其噪声大小由 G S / ε 决定，其中 G S 是全局灵敏度，所以 ε 越小，拉普拉斯噪声越大。

定义2（全局灵敏度）：全局灵敏度用于测量添加在数据中的噪声的量。给定一系列统计查询 Q，全局灵敏度测量其在从数据集 D中删除一条记录的数据集 D   '上变化的最大值。如果保持以下情况，随机算法 M满足全局灵敏度：

对于 Q   : D → R， Q  的全局灵敏度定义如下：

G S = m a x D , D '   Q D - Q D '

其中， R  是实数空间， Q是统计查询的序列。

为了产生噪声，在差分隐私中有两种主要的噪声产生机制：拉普拉斯机制和指数机制。

定理1（拉普拉斯机制）：给定一个函数 Q   : D → R，对于任意域 D，如果随机算法 M 满足以下条件：

M = Q D + L a p G S / ε

则 M  满足 ε-DP。其中的噪声 Lap(GS/ ε) 来自于拉普拉斯分布。

定理2（指数机制）：给定一系列的统计查询 Q 和一个实体对象的生成 r ∈ R，会 q ( D , r ) 是一个记分函数，来为每个输出 r 分配一个分数。如果随机算法 M 满足以下条件：

M r , q = r e t u r n   r   w i t h   p r o b a b i l i t y   ∝ e x p   ε Q D , r 2 G S

则 M 满足 ε-DP。

2.4.2 同态加密

在标准的加密方法中，接收方必须使用私钥解密数据，并在使用之前将其从密文转换为明文。与其他加密方法不同，同态加密提供了直接对加密的数据进行代数操作而不进行解密的可能性。同态加密方法根据它们所能支持的操作，被分为部分、近似和全同态加密。如果密码系统只支持加法或乘法运算，则该加密方案被称为“部分同态加密”，如ElGamal 密码系统和 Paillier 系统等。Rivest 等[35]首先发现 Rivest-Shamir-Adleman（RSA）公钥加密算法是部分同态的。与之相比，如果密码系统能够同时支持密文的加法和乘法，那么被称为“完全同态加密”方案。同态加密的定义如下：

设 G , * 和 ( H ,   ∘ ) 为两个群。 f   : G → H是两个域之间的映射。对于任意 ∀ a , b ∈ G，都有 f a * b = f a ∘ f b，则称 f 为从 G 到 H 的同态映射。

定义3：设 E 为一个加密算法， E c , q 表示使用加密密钥 c 加密 q， O 表示对 n 个变量的运算。 n 表示输入的数量。加密算法 E · 对于运算 O 是同态的定义如下：

E ( c , F ( q 1 , … , q n ) ) = O ( E ( c , q 1 ) , … , E ( c , q n ) )

如果等式（7）仅适用于 O q 1 , … , q n = ∑ i = 1 n q i，则加密算法是一个加法同态加密方案。

如果等式（7）仅适用于 O q 1 , … , q n = ∏ i = 1 n q i，则加密算法是一个乘法同态加密方案。

如果等式（7）对于加法和乘法都适用，该加密方案被称为“完全同态”。如果加密只支持加法和少量的乘法，那么它就被称为“近似同态”。

2.4.3 安全MPC

安全MPC是由多个参与者在没有受信任的第三方的情况下对商定函数进行协同计算的加密方案。通过确保一定的隐私性和正确性等安全属性，使各方在计算过程中只获得自己的计算结果，而不能从计算过程中的交互数据中推断出任何其他方的输入和输出数据。MPC最初由 Yao [29]在1982年通过姚氏百万富翁问题（Yao’s millionaire problem）提出，后来被扩展为安全 MPC。MPC 在数字签名、电子拍卖和秘密共享场景中非常重要。

更正式地说，假设 g 是 n 个量的公共函数，其中有 n 个具有私人输入 v 1 , v 2 , … , v n 的参与者。MPC 的目标是计算参与者的公共函数值 g v 1 , v 2 , … , v n，这样就不能从计算和输出中揭示出关于单个输入的有价值信息。然而，MPC并不是一种单项技术；它是一个由一系列不同技术组成的协议栈。MPC的组成详见图3。

如图3所示，MPC结构通常由支持技术层和方案层组成。

（1）支持技术层为构建 MPC 提供了基本的技术支持，包括标准加密和解密、哈希函数、密钥交换、同态加密和伪随机函数等，还包含 MPC 中的基本工具，如秘密共享、不经意传输和不经意的伪随机。

（2）方案层可以进一步分为两大类：特定方案和一般方案。这些方案致力于解决不同的隐私计算问题。特定算法为特定的隐私计算逻辑而设计，而且效率更高，但只能支持单一的计算逻辑；通用框架可以支持大多数隐私计算逻辑。

• 一般方案由混淆电路支持，理论上可以支持任何计算任务。这是通过将计算逻辑编译成一个电路，然后混淆执行来实现的。然而，对于复杂的计算逻辑，混淆电路的效率会不同程度地降低，与特定方案相比，效率可能存在显著差异。

• 具体方案用于解决具体的问题。由于存在针对性的构建和优化，专用算法的效率远远高于一般框架，包括算术运算、比较运算、矩阵运算、隐私集的交集、隐私数据查询、差分隐私等。

从安全的角度来看，MPC 应该满足三个要求：去中心化、隐私性和正确性。

• 去中心化：没有特权第三方的参与。

• 隐私性：在安全 MPC 的过程中，各方的数据输入是独立的并且计算过程中不泄露本地原始数据。

• 正确性：通过安全MPC算法得到的结果与原始明文数据的局部计算结果一致。

3 联邦学习

本节对联邦学习框架进行了详细描述，这是安全联邦优化的基础。联邦优化是一个整合了联邦学习、贝叶斯优化和进化优化优势的新兴领域。考虑到联邦优化从根本上是建立在联邦框架上，并在服务器上合并每个客户端的代理建模，以及给出新查询点位置的建议，因此在讨论联邦优化之前深入研究联邦学习是至关重要的。

3.1 背景

联邦学习源自隐私保护和可信机器学习。提高训练准确性的传统方法是集中式学习，即一个可信第三方或数据中心聚合来自不同参与者的数据并集中进行模型训练。然而，这种方法需要一个可信第三方，而这并不能保护隐私。此外，由于隐私方面的原因，由不同组织控制的数据不能合并起来，这给来自不同领域的数据共享和协作造成了障碍。这就是所谓的“数据孤岛”问题。

在过去十年中，多种分布式训练算法被提出。这些解决方案包括模型平均[36]、大规模同步梯度下降[37]、循环权值转移[38]、联邦学习[1]、循环机构增量学习[39]和分割学习[40]等。其中一些解决方案具有分布式学习结构的基本思想，并且与联邦学习非常相似。

联邦学习是一种分布式机器学习方法，参与者训练本地模型并将更新后的模型参数上传到服务器；然后服务器对它们进行聚合，获得全局模型的参数。与传统的机器学习技术相比，联邦学习不仅可以提高学习效率，而且可以解决“数据孤岛”问题，保护本地数据隐私[41]。由于原始数据不会离开其所有者的本地设备，因此联邦学习几乎是在数据敏感场景（如医疗记录、个人相册和个人语音录音等）中进行模型训练的最佳选择。

典型的联邦学习训练过程介绍如下。联邦学习中的参与者包括服务器、客户端和外部用户。服务器控制学习并与客户端进行通信。客户端是数据所有者，负责执行本地训练并更新训练后的模型。在模型被服务器聚合和发布后，外部用户成为模型的所有者。

经典的联邦学习训练过程如图4所示，包括以下步骤：

（1）初始化：服务器定义要解决的问题并准备一个初始全局模型；选择客户端，并将全局模型的初始化参数发送给客户端，以开始训练过程。

（2）重复：重复以下步骤，直到训练过程收敛或达到最大精度：

• 步骤1　广播：服务器将初始或聚合后的全局模型的参数转发给客户端；

• 步骤2　本地模型训练和上传：每个客户端使用本地数据对从服务器下载的模型进行训练，并将更新后的模型上传到服务器；

• 步骤3　模型聚合：服务器收集更新后的本地模型并对其进行聚合，获得更新后的全局模型；

• 步骤4　重复直到收敛：如果不满足收敛条件，则重复步骤1到步骤4。

3.2 联邦学习中关于隐私保护和安全方面的挑战

研究发现，由于容易受到梯度泄漏攻击[5]、推理攻击[42]和数据中毒攻击[43]的影响，基本的联邦学习方案并不是严格的隐私保护。联邦学习中的敏感信息包括每个客户端的原始数据和学习过程中的中间信息（如梯度）。为了抵御攻击和保护这些敏感信息，一些研究致力于改善联邦学习的隐私。目前的方法主要分为两类：加密方法（如安全MPC [44]和同态加密[35]）以及数据加扰方法（如差分隐私[7]）。加密方法通过指定访问控制将数据从明文编码到密文，从而提供数据安全性。然而，这种方法通常需要大量的计算开销，并且在实际场景中应用起来更具挑战性，而数据扰动方法的计算成本则相对较低。在数据中添加随机噪声，以确保攻击者不能根据输出的差异推断出关于个体的敏感信息[45]。不过，噪声会降低模型的精度。因此，在选择隐私保护方案时，必须平衡隐私-稳健性的权衡。隐私保护和安全联邦学习的主要研究方向集中在差分隐私[46]、同态加密[47]、安全MPC、安全聚合、 k-匿名[48]等技术。

大多数方案仅依赖于密码学（以安全MPC和同态加密为代表）或扰动技术（以差分隐私为代表）。安全聚合是一种旨在增强数据安全性的替代策略。例如，Song 等[49]提出了一种高效、容错、能保护隐私的数据聚合联邦学习方案 EPPDA。但是上述所有方案都不能完全抵制隐私攻击。加密有效地隐藏了客户端上传的内容，但不能抵抗输出端的推理攻击；扰动确保输出模型满足差分隐私，而上传模型则保持明文。因此，Truex 等[50]提出了一种结合同态加密和差分隐私的联邦学习方案，其中客户端对数据进行局部扰动，然后通过Paillier加密对扰动数据进行聚合。同样地，Xu 等[51]结合了函数加密和差分隐私，并提出了一种名为 Hybrid Alpha 的联邦学习方案。但是该方案只支持求和等线性函数运算，本文没有给出满足同态加密定义的严格证明。Zhu 等[52]在垂直联邦学习中将同态加密和差分隐私结合来训练 XGBoost 决策树。在他们的研究中，假定将标签分布在不同的客户端上，这一假设更加符合现实模型训练情况。同样，Lian等[53]引入了一个分散、高效、隐私增强的联邦边缘学习系统（DEEP-FEL）框架，该框架集成了差分隐私与基于环的签名方案，为医疗保健网络-物理系统提供了一个高效、隐私增强的联邦边缘学习解决方案。

4 安全和隐私保护的优化

上一节讨论了关于安全和隐私保护的联邦学习，本节将介绍关于安全和隐私保护下优化的概念及相关研究。首先需要指出学习和优化在任务目标和实现方法上的差异。然后，介绍了隐私保护下的进化优化、贝叶斯优化、完全分布式优化和安全联邦优化等相关研究，以提供一个相对完整的领域图景。本节最后讨论优化所需的独特的隐私保护技术，可以直接应用于联邦优化的联邦学习策略，以及安全联邦优化的额外需求。这些问题可以为安全和隐私保护下的优化技术的发展提供灵感。

4.1 学习和优化之间的差异

学习和优化之间的主要区别表现在最终目标和应用策略两方面。表1 [15,54‒61]从问题假设、任务中敏感信息和经典算法方面阐述了联邦学习、分布式优化、进化优化和贝叶斯优化之间的差异。

4.1.1 目标

如公式（1）和（2）中对问题的定义所示，学习问题的目标不同于优化问题的目标。一般来说，机器学习是在可用的训练数据上对模型进行训练并更新其参数以准确预测给定输入的输出的过程。而优化目标旨在找到能够最小化或最大化给定目标函数的解决方案。事实上，机器学习问题的目标是基于训练数据来最小化损失函数（通常是预测精度等）。优化问题还可能包括各种工程优化问题[62]或决策问题[63‒64]。需要注意的是，处理机器学习和优化任务都需要使用到模型，并且不同任务中使用的模型有不同的目的。在机器学习领域，模型的训练过程本质上是一个优化问题，其核心目标是最小化损失函数。而在处理那些昂贵的黑盒优化问题时，经常采用训练代理模型的方法来近似模拟目标函数。

4.1.2 解决策略

学习和优化任务中的解决策略是不同的。在机器学习中，由于损失函数通常是可导函数，因此基于梯度的方法通常被用作优化器。但是，在处理优化任务时，可能不存在目标函数的解析数学表达式，也可能存在多个相互冲突的目标。因此通常采用启发式方法，如进化算法等。

解决机器学习任务的策略通常被称为学习算法；一般来说，学习算法可以分为监督学习、无监督学习和强化学习。监督学习主要有两个任务：回归任务和分类任务。无监督学习主要有两个研究方向：降维（如主成分分析[65]和t-分布邻域嵌入[66]）和聚类[67‒68]。有监督学习任务和无监督学习任务在各种应用中都很常见，如图像识别[69]、语音识别[70‒71]和自然语言处理[72]。在过去的十年里，学者们提出了许多机器学习算法的新变种，如半监督学习[73]、迁移学习[74]和自监督学习[75]等。无论是哪种学习任务，在最小化损失函数时，使用最广泛的方法都是基于梯度的方法；这些方法通常与启发式无导数优化方法相结合，如用于解决变分推断[76]等学习任务的坐标下降法等。

解决学习问题和优化问题在策略上也有所不同。对于优化任务，优化的策略依赖于目标函数的性质和目标的数量。例如，传统的数学规划方法（如基于梯度的方法）可以用来解决单目标问题，且目标函数是可微的；而元启发式方法（如进化算法[77]和模拟退火算法[78]）或基于模型的算法（如贝叶斯优化[12]）已被证明可以更有效地解决不可微或黑盒优化问题。针对公式（1）中的多目标优化问题，目标经常彼此相互冲突，导致优化结果是一组帕累托最优解（称为帕累托解集），而不是单一的最优解，从而在优化多个目标时找到最好的平衡点。帕累托解集在目标空间中的映射被称为帕累托前沿。进化算法特别适合解决多目标优化问题，基于种群的性质使得进化算法可以在单次运行中获得一组最优解。现有的多目标进化算法大致可以分为四类：基于支配[58,79]、基于分解[59,80‒82]、基于性能指标[83‒85]和基于偏好的 [86] 方法。大部分多目标进化算法旨在使得输出结果尽可能均匀地收敛到帕累托前沿或帕累托解集。但是在现实应用中，决策者仅对整个帕累托前沿的部分子集感兴趣。因此，基于偏好的多目标进化算法结合了决策者的偏好并引导搜索在相关区域中进行，可以在优化之前（先验）[87]、之后（后验）[80]或期间（交互）[88]引入偏好。

一般来说，多目标进化算法为了生成令人满意的帕累托前沿近似解集，需要进行大量的目标函数评估，这对于计算代价高昂的多目标优化问题来说是不可承受的，如空气动力设计优化和结构优化[11]。代理辅助进化算法已经成为一种有效的解决方案，能够克服计算成本高昂的障碍[89]。在各种代理辅助进化算法中，由于贝叶斯优化采样效率高[26]，使其在许多应用中显示出了良好的性能。通常，贝叶斯优化构造一个高斯过程，用于定义目标函数分布。然后，在观测数据和先验的条件下，利用贝叶斯规则计算后验，量化对未知目标函数的置信度。因此，可以通过优化采样函数，利用后验分布确定下一个查询点。

4.1.3 安全联邦学习和联邦优化之间的区别

由于学习和优化，特别是和数据驱动的优化之间的密切关系，自然可以将联邦学习中的思想扩展到联邦优化。由于目标和策略的差异，学习和优化对安全和隐私保护的要求也有所不同。联邦学习与联邦优化在目标、敏感信息保护、模型框架以及获取最优学习/优化性能的策略方面有所不同。

• 目标：联邦学习旨在从所有可能的假设空间中寻找一个近似函数 F ^，以最小化整个数据集上的训练损失期望值。联邦优化旨在找到优化问题的全局最优，即最佳决策变量 X。通过使用数据集拟合问题的目标函数，该数据集已经由真实函数评估过。联邦学习和联邦优化中的每个参与方只持有整个数据集的一部分。

• 敏感信息：在安全的联邦学习中，需要保护本地训练数据。相比之下，在联合优化中，不管是优化之前在每个客户端上收集的本地数据，还是最终的优化结果（即最好的全局优化解）都需要被保护。

• 模型框架：在经典的联邦学习中，服务器对模型参数进行安全聚合，以获得全局模型。然而，在联合优化中，服务器（或可信客户端）还必须实现代理模型管理过程（如在贝叶斯优化中更新采集函数），而联邦学习中经典的均值法不再有效；优化过程中的新查询数据也必须得到保护。

• 策略：考虑到联邦学习和联邦优化的目标有区别，实现方法也有显著差异。联邦学习的主要目标是开发一个全局模型，以有效地拟合来自所有客户端的数据集。从本质上说，一个能够产生更准确预测的模型更受青睐。然而，在联邦优化中，除了模型拟合，还额外强调模型管理策略，因为其最终目标是有效地找到优化问题的全局最优解。

4.2 隐私保护的优化

本小节讨论隐私保护的优化，包括进化优化和贝叶斯优化。在介绍这些隐私保护方案的细节之前，首先讨论贝叶斯优化和进化优化中的攻击与防御。只有首先了解优化算法中的安全隐患，才能更好地提供安全保护。

4.2.1 优化中的攻击和防御

优化中的攻击可分为推理攻击和主动攻击。

（1）推理攻击的目的是推测敏感信息，如训练数据中是否涉及某个特定的数据点，或者敏感的优化结果。在现有的安全标量乘积协议中，如参考文献[90]中的协议，通过使用只包含一个值为1的元素的向量，可以很容易地推断出一方的向量。为抵御这种探测性的攻击，在参考文献[91]中，使用Du-Atallah隐私保护标量乘积协议[92]将两个二进制向量的标量乘积表示为两个分量值的和，其中每个向量由各方私密持有。参考文献[93]中提出分布式图着色存在潜在推理风险，即通过比较一个解与其相邻解之间的冲突总数的差异可以猜测出另一方的顶点颜色。Hong等[93]提出了一种称为同步移动（synchronous move）的机制，通过选择可能改变另一方的一个顶点的颜色来克服这个问题。

（2）在主动攻击中，主要需要考虑与恶意用户共同优化的情况。考虑到贝叶斯优化后最终返回的输入点可能会受到对手的扰动，Bogonovic等[94]提出了一种鲁棒的高斯过程辅助算法，通过基于置信边界的采集函数寻求获得最优 ε稳定解。因此，即使最终返回的点被扰动，所得到的解仍然适用，因为所得到的点位于相对较宽的区域内。参考文献[94]假设敌手只能访问最终输入结果，但实际上对手可以访问任何中间结果，如参考文献[95]所述：在优化过程的每一步中，根据输入或输出空间破坏每个样本。例如，在参考文献[96]中，对手在优化过程中损坏了输出，即多臂老虎机问题中的奖励，这在无限的动作空间（输入空间）中带来了相当大的挑战。为了克服这个问题，Bogunovic等[96]提出在已知有损失的情况下，在上置信界限函数中的权重参数中加入损失值，并试图在未知损失情况下，平衡不确定性的快速或缓慢收缩。上述研究从算法设计者的角度讨论了在对抗性攻击下的优化。最近，Han和Scrare[97]首次从攻击者的角度讨论优化并提出了几种针对性攻击策略，如减法攻击和截断攻击，不管目标函数是否已知。在参考文献[96]中，通过应用于上述的高斯过程老虎机算法，证明了所提出的攻击的有效性。

令人惊讶的是，只有少数研究在对抗环境中进行优化。这可能是因为目前大多数贝叶斯优化或进化算法都是在一个设备中进行的。不过随着联邦贝叶斯优化和联邦数据驱动的进化优化的发展，人们对在包含恶意对手环境中进行优化的兴趣将会激增。

4.2.2 保护隐私的进化优化

在保护隐私的联邦学习方法中，不仅是最终结果，训练过程中的中间结果也会泄露用户的隐私。类似地，在进化优化中的优化过程也存在隐私泄露风险，例如原始数据、真实目标函数和当前最佳优化结果等。因此，根据整个优化过程是否受到保护，将保护隐私的进化优化分为以下两类。

第一类指只有适应度计算是安全的。例如在参考文献[98]中，用户只将每两个适应度值之间的相对排名发送给服务提供商，来保护真实的适应度值不被泄露。然而，在优化中披露排名将不可避免地公开最佳的全局优化结果，这通常是不可接受的，因为任何优化的目标都是获得最终的全局最优。参考文献[98]只涉及一个用户，这意味着决策变量和目标函数计算只由一个用户持有。然而，对一个目标函数的优化可能涉及多个用户之间的交互。参考文献[91]提出了一种安全的适应度评估协议，基于双方持有的任意分区的私有数据安全地计算药物规则的适应度值。该协议被证明能够防止探测攻击。另一个场景，被称为主从框架，涉及多个代理和一个服务器。为在此场景下保护隐私，Zhao等[99]将Paillier密码系统应用于分布式粒子群优化算法，每个从客户端持有一个粒子，以保护当前全局最佳解决方案的位置不暴露给主服务器。

在第二类中，由于大多数隐私保护方法只保证适应度评估计算的安全，可能会泄露敏感信息，一个直观的想法是确保整个优化过程的安全。但是，对于不同的优化算法，优化过程却有很大的不同。例如，遗传算法涉及繁殖算子、目标值计算和环境选择，而粒子群优化算法则基于局部最优和全局最优更新粒子的速度和位置。除了算法类型外，不同类型的问题可能需要不同的基本协议来加密优化过程。例如，在参考文献[100]中，在求解线性规划问题（如子集覆盖问题）时，目标值的计算仅涉及加法和乘法，因此对整个优化过程进行加密需要加法、乘法和比较等原语协议。另一项研究[101]提出了利用掩码布隆过滤器和Diffie‒Hellman数据交换协议，以外包的方式解决子集覆盖问题。在参考文献[102]中，供应商和生产商双方协同优化其生产计划，分别最小化各自的成本。

为了确保在优化过程中不泄露中间结果，多目标进化算法的每一步都由密码学协议进行保护。具体来说，姚氏协议[29]用于保护目标函数计算的安全性，同态加密用于环境选择，秘密共享用于种群中个体突变。由于环境选择是基于帕累托非支配排序，本文设计了一种特定的原始排序基本协议来处理多目标优化问题。最近，Zhao等[103]提出了一个仅用于处理组合优化问题的框架。其主要思想是将加密的问题外包给云服务器。值得注意的是，在旅行商问题等组合优化问题中，用户拥有的敏感内容是城市列表和每个城市对之间的旅行成本。将哈希函数获得的加密内容发送到服务器，意味着必须基于加密的数据进行优化，这对传统的进化算法提出了很大的挑战。鉴于此，Zhao等提出了一种安全比较协议和一种安全分治协议。类似地，在参考文献[104]中，将双酶切问题的优化外包给云服务器以利用其强大的计算资源。作者提出了一种顺序保持的同态索引方案，在云端执行量子启发遗传算法的优化过程。通过这种方式，可以直接使用加密的双酶切数据作为输入，而无需进行任何解密操作。实验结果表明，该方法非常有效，而且可以保护对用户来说宝贵的双酶切数据。

除了保护隐私的进化算法，还对其他保护隐私的启发式算法（如禁忌搜索和模拟退火算法），特别是在处理分布式组合优化问题和线性规划问题方面的算法进行了研究。例如，在参考文献[93,105]中，采用模拟退火和禁忌搜索算法分别处理旅行商问题和分布式图着色问题，借助同态加密和安全比较协议，确保一个解与其邻解的目标值计算和适应度比较的安全性。

除了单目标和多目标问题及组合优化问题外，一些研究的目的是解决分布式线性规划和二次规划问题。为了有效地处理这类问题，研究人员提出使用基于转换和基于差分隐私的方法，来保护用户的隐私并解决分布式问题。在分布式场景下，线性规划问题的目标函数和约束分布在不同的客户端上。可能会出现这样一种情况，即每个客户端通过水平分区、垂直分区或任意分区都只包含部分约束。大多数方法都考虑了水平分区的情况。在基于转换的方法中，如参考文献[106‒107]中用于线性规划问题的方法和参考文献[108]中用于二次规划问题的方法，其主要思想是通过转换问题参数来保护每个用户的参数和决策变量，防止其被服务器泄露。Hong和Vaidya [106]提出通过让每个用户生成人工约束并应用随机矩阵来转换问题参数，从而解决具有任意数量约束的水平分区线性规划问题，无论是等式约束还是不等式约束。除了基于转换的方法外，还研究了基于差分隐私的方法（如参考文献[109]中的方法），因为差分隐私可以提供严格的证明。但是，与密码学或转换方法不同的是，基于差分隐私的方法存在一定程度的性能下降。

综上所述，联邦学习中应用的一般隐私保护方法，如同态加密，也被用于保护隐私的启发式算法。像同态加密这类的加密方法将不可避免地带来较高的计算开销，因为优化过程中的每个组成部分都必须加密。此外，一个优化过程通常包含多个不同的算子，如帕累托非支配排序、交叉和环境选择等。如何有效利用秘密共享和同态加密等不同的方案来保护整个优化过程仍然是一个巨大的挑战。

4.2.3 保护隐私的贝叶斯优化

贝叶斯优化首先基于初始训练数据构建一个代理模型，通常是高斯过程模型。接着通过优化采集函数，以建议下一个查询输入，即需要采样的新数据点。贝叶斯优化中的敏感信息包括构建代理的训练数据和新的查询点。图5给出了外包贝叶斯优化框架的一个例子。在客户端上，可以通过向目标值添加噪声或在将数据集发送到外包服务器之前转换到另一个新数据集的方式来干扰用户的本地训练数据。在外包服务器上，实施贝叶斯优化并将贝叶斯优化建议的查询输入发送回客户端。Kusner等[110]首次提出在贝叶斯优化过程结束时使用差分隐私，通过在最佳查询点的真实目标值中添加拉普拉斯噪声来保护最佳查询点。但是，如果在贝叶斯优化过程中发生通信攻击，中间结果（如高斯过程模型的预测值）也可能泄露敏感信息，因为它们可能会泄露使用真实函数评估过的解的信息。如参考文献[111‒112]所讨论的一样，可以根据核函数矩阵来推断个体的真实目标值。Nguyen等[113]通过向每个下一个查询输入对应的目标值添加噪声来解决这种泄漏风险。一个新的问题是，基于模糊目标值构建的代理模型是否会降低采集函数的优化性能。此外，随着新建议查询点增多，模型构建中的误差会不断累积。除了像在参考文献[113]中一样在回归任务中直接向目标值添加噪声外，差分隐私也已经被扩展到处理高成本的分类问题以保护原始数据。在参考文献[114]中，利用分类概率的期望值实现了拉普拉斯噪声产生机制；然后使用一个嵌入式的压缩函数来完成分类任务。

除了差分隐私之外，也有一些研究者沿着转换和同态加密的路线进行了一些尝试，这比基于差分隐私的方法更准确。因为客户端不愿意直接将决策变量或真实目标值发送给外包方，Kharkovskii等[115]提出通过定义矩阵对决策变量进行变换，该矩阵是客户端私有的，而采集函数的优化过程是基于转换后的决策变量。在采集函数的优化过程结束时，客户端将下一个查询点转换回原始决策变量空间。另一种不降低精度的方法是基于同态加密的方法。高斯过程模型的构建和预测通过使用模块化方法[111]得到保障，确保即使在没有传输外包提供器的本地数据的情况下，任何客户端仍然可以对任何未观测点的平均值和标准差进行预测。与基于差分隐私和基于转换的方法相比，基于同态加密的方法相对耗时。最近，Luo等[112]在模型构建和预测中采用了秘密共享策略，该策略可以扩展到三种场景——水平数据共享、垂直数据共享和预测数据共享，并具有较高的模型训练效率。

综上所述，三种主要的方法，即基于差分隐私、转换和同态加密的隐私保护方法，主要是为了保护训练数据、获取函数的优化或下一个查询点。然而，由于模型构建误差，现有的基于差分隐私的方法通常比传统的贝叶斯优化方法的表现差得多。基于转换的方法似乎是一个很有前景的方向，因为它比基于同态加密的方法更省时，而且不会像基于差分隐私的方法那样在采集函数的优化过程中引入那么多的不确定性。

4.3 保护隐私的完全分布式优化

一种多个客户端协同求解一个全局优化问题的场景是，通过优化所有依靠网络互联的参与客户端的本地函数进行求和。该框架要求每个客户端在多次迭代中显式地与相邻客户端进行状态交换，以获得全局优化问题的全局最优解。需要注意的是，在这个场景中没有服务器，并且每个客户端都不将信息传输给服务器，而是传输给相邻的客户端，这就是所谓的完全分布式优化。为了处理这类完全分布的问题，研究人员在过去十年里已经提出了许多算法，如ADMM [15]和ADMM的许多变体。但是，这些方法的机制都依赖客户端与其相邻客户端的状态交换，鉴于所交换的状态可能会泄露有关客户端的敏感信息，因此本方法无法保护每个代理的隐私。

一种直观的方法是对交换的状态进行加密。对于在完全分散的环境中，客户端之间存在交互式消息传递，加密技术通常需要引入受信任的第三方，以防止从传输的信息中推断出某个客户端的状态值。由于在现实应用中不是总能获得可信的第三方，研究人员尝试在没有第三方或聚合器的情况下，将加密技术引入ADMM [116]和投影次梯度算法优化器[117]，以解决完全分布式优化的问题。对于双变量更新，合并Paillier密码系统的方法与参考文献[116‒117]中使用的方法相同。平均共识问题也是分布式计算中的一个重要问题。在参考文献[118]中，考虑到无向图的耦合权值是对称的，耦合权值也被分离为两个随机正数的乘积。Gao等人[119]通过引入不同的时变耦合权重，利用部分同态加密技术，在有向图上实现了保护隐私的push sum算法。由于外邻的耦合权值未知，因此一个节点不能通过解密加权的状态值来推断实际的状态值。众所周知，Paillier密码系统方法存在沉重的计算和通信成本，这使得它们无法处理实时优化问题。除了Paillier密码系统外，秘密共享技术作为另一种流行的加密方法，因其计算效率高的特性而被广泛应用于全分布式优化。代表性研究包括参考文献[120‒121]。

有了充分的理论证明，差分隐私也被应用于完全分布式优化，根据需要保护的内容，在ADMM迭代[122‒123]或局部函数[124]中的原始和（或）对偶变量中添加噪声。值得注意的是，对于分布式优化问题，目标函数或约束都可能包含敏感信息。因此，大多数研究都试图保护这两条信息。关于基于差分隐私的方法，研究已经沿着两条路线进行：为每次迭代提供差分隐私保证或为所有迭代提供差分隐私保证。在第一条路线中，如在参考文献[122]中，通过在每次ADMM迭代中对原始变量或对偶变量添加噪声，实现每次迭代（包括最终迭代）的动态α-差分隐私。但是，只保证每次迭代时局部目标函数的差分隐私可能会导致误差在所有迭代中累积，破坏迭代过程的收敛性，降低优化性能。另一个很有前景的想法是在所有迭代中实现差分隐私保证。在参考文献[125]中，为了保证迭代分布式算法在所有迭代中都具有一定水平的隐私预算，在向相邻代理广播之前，将具有衰减噪声率的拉普拉斯噪声添加到估计的全局最优值中。值得注意的是，当研究（如参考文献[122‒123,126]）依靠迭代过程中的衰减步长来确保收敛，提出了一种基于差分隐私的方法[127]来实现在恒定步长下的均值线性收敛。本研究结果表明，添加到状态和方向值的噪声是不可缺少的，每个值分别代表隐私性和收敛性。

4.4 联邦数据驱动的进化优化

从联邦学习中借鉴思想来保护隐私的想法是很直观的，因为这两种方法都假设原始数据分散在不同的客户端中，并且所有参与的客户端都协同尝试完成学习或优化任务。尽管它们有相似之处，但联邦学习框架和联邦数据驱动优化框架之间还有显著的区别，如图6所示。联邦数据驱动优化框架的两个特殊属性是：通过优化采集函数来建议下一个新的查询点的位置，以及在评估新查询点后更新训练数据。虽然联邦数据驱动的进化优化作为一个新兴的、有前景的课题，在保护隐私的前提下可以有效地解决优化任务，但在这方面的研究较少。参考文献[128]中介绍了一项开创性的工作，提出使用贝叶斯优化算法优化深度神经网络的超参数，其中深度神经网络在不同的客户端上进行本地训练。为了减少传输参数，防止局部训练数据被泄露，提出并优化了一种联邦汤普森采样采集函数，在每一轮高斯过程模型更新中对随机选择的本地客户端的采集函数进行优化。由于参考文献[128]中用户级隐私可能无法得到保证，因此采用差分隐私方法在参考文献[129]中的模型权值中添加噪声，就像在差分隐私辅助的联邦学习中一样。值得注意的是，为了实现差分隐私，在参考文献[129]中引入了一个中央服务器。在参考文献[128‒129]中，在每轮GP模型更新时随机选择一个客户端进行采集函数的优化。

虽然大多数现有的数据驱动的代理辅助进化优化算法都假设数据是集中存储和采样的[27]，但将这些优化算法扩展到联邦环境中是具有重要的实际意义的。Xu等人[130‒131]首次尝试通过使联邦学习框架适应于联邦数据驱动的进化优化来实现这一目标。然而需要注意的是，高斯过程是非参数化的，因此规范的联邦平均（FedAvg）算法不能直接引入贝叶斯优化。为了解决这个问题，在每个客户端上构建了基于自身数据的径向基函数神经网络模型作为代理模型，以确保只将模型参数上传到服务器而不是本地训练数据[130‒131]。此外，基于在服务器上聚合的全局代理模型和所有本地代理模型，设计了一种联邦下界置信度作为采集函数。受这些思想的启发，根据覆盖函数值加权预测的本地目标值，提出了边云模型管理方法，并引入了基于阻塞和疏通的通信方案，以避免在优化过程中出现死锁。

除了通过共享模型权重实现联邦优化的目标之外，另一种策略是在客户端和服务器之间直接共享不敏感的数据，如模型预测或超参数等。例如，粒子群优化可以通过与中央服务器共享一个客户端粒子的速度更新方向（而不是这些粒子的真实位置）来实现与联邦框架的集成，从而保护原始数据[133]。但是，由于引入了差分隐私机制来增强隐私保护，这种方法的收敛速度有所下降。相比之下，参考文献[134]使用GP模型的预测来指导在联邦环境中的粒子群优化的速度更新。需要注意的是，这项研究主要关注的是调优GP模型的效率，而非隐私保护。Cheng等[135]在联邦框架下对每个客户端的代理模型的超参数进行了个性化优化。通过共享经过随机傅里叶特征变换后的客户端特征，确保每个客户端的原始数据保持机密。必须认识到，上述的联邦优化技术假定所有客户端都完全诚信。但是在实践中，有部分客户端可能是拜占庭客户端。考虑到这一点，Zhang等[136]通过聚合来自所有客户端的GP模型预测来实现本地GP模型的融合，过程中包含了来自拜占庭客户端的任意预测。为了减轻拜占庭攻击，策略性地丢弃了最大和最小β比例的本地预测均值和方差。此外，在参考文献[137]中，每个客户端通过共享加权的本地和全局函数值来实现所有客户端信息的融合。每个客户端中的权重都是随机采样的，以保留实际的本地函数值，并整合来自其他客户端的信息。最后，在最近的一篇文献中，Zhu等[138]利用GP模型的超参数注入全局信息。引入了一组伪数据来衡量客户端之间的相似性，从而确保仅将相似任务的高斯过程模型进行融合，该工作也代表了联邦贝叶斯优化的一个有前景的方向。

在去中心化/联邦优化中，每个客户端的贡献可能存在显著差异，这取决于其所提供的原始数据的数量和质量。因此，若为所有客户端提供相同数量和质量的新填充解，可能并不公平。出于这个原因，除了性能之外，研究人员还试图在联邦优化中考虑公平性。在设计联邦优化框架时，同时结合公平性和去中心化优化，具有很大的潜力。例如，在协作式贝叶斯优化中，将输入查询分配给具有不同信息增益和奖励的各方可能会阻碍协作[139]。虽然越来越多的研究致力于实现机器学习和资源分配[140]中的公平性，但在去中心化优化[141]中考虑公平性的尝试却很少。Perrone等[142]采用了一种约束采集函数来满足贝叶斯优化中的公平性约束。在参考文献[143]中，使用统计均等差异和机会均等差异作为公平性指标，从而形成一个多目标优化问题。有趣的是，在批量贝叶斯优化中定义了一种累积效用启发的公平性，从而通过最小化各方累积效用的差异来确保公平性[139]。虽然上述工作对去中心化优化中的公平性处理有所启发，但这些研究大多聚焦于单目标优化问题中的公平性问题，而忽略了联邦优化中的隐私问题。鉴于公平感知联邦学习的最新发展，性能公平[140]（即鼓励设备间的性能一致性）以及合作公平[144]（即允许贡献较高的参与者获得更高的奖励）也可以在联邦优化中采用。此外，联邦优化中多目标优化问题的存在带来了额外的公平性问题。例如，具有敏感属性的训练数据可能会导致每个本地代理模型具有不同的准确度。在这种情况下，可能会出现对于不同目标和客户端的偏向优化，如只获得满足特定群体的帕累托前沿的有限区域。此外，由于不同的客户端面临的优化问题类型各异（即目标的数量可能不同），在构建全局模型时确保公平性具有挑战性。因此，可以从联邦学习中借鉴模型公平性[145]的概念来解决公平感知联邦优化问题，以确保模型不会对特定群体产生歧视。有趣的是，在处理公平性问题时，联邦优化中每个客户端的偏好可以用于衡量奖励。当在相互冲突的偏好之间进行权衡时，反过来又会导致公平问题。

总之，在实际应用中，联邦优化框架的选择取决于需要保护的敏感信息类型以及可接受的性能权衡。无论客户端的信息融合是通过模型权重、预测值还是超参数来实现，不同联邦方法在优化性能和安全性增强方面仍然存在显著差异，因此这一领域的进一步研究是必要的。此外，联邦优化的设计不仅应关注优化性能的提升，公平性也应成为促进多客户端协同优化的关键因素。

4.5 讨论

为更好地理解联邦优化相较于联邦学习的新挑战，下文总结了学习和优化中隐私保护的异同。

4.5.1 隐私保护优化的独特挑战

虽然同态加密、安全MPC和差分隐私等加密技术可以同时应用于机器学习和优化过程，以确保隐私保护，但由于优化过程中的特殊要求，以下机制仅适用于隐私保护优化，而不适用于学习。

• 子空间扰动。受对偶变量在某一子空间中不收敛的启发，在参考文献[56]中，仅在对偶变量的非收敛子空间中添加噪声。

• 函数分解或状态分解。将本地目标函数或状态变量分解为两部分——一部分用于与相邻客户端传递消息，另一部分则保持本地。该机制是专门为全分布式优化而设计的[146‒147]。

• 训练数据集的转换。对训练样本进行转换，以保持样本之间的成对距离，从而基于外包方的转换数据集对采集函数进行优化，以保持原始数据集的隐私性[115]。

4.5.2 联邦学习和联邦优化的常见策略

联邦优化仍处于非常早期的阶段，许多研究问题仍有待解决。因此，将安全性和联邦学习策略引入并适配到联邦优化的过程中存在诸多研究机会。

• 联邦学习和优化的框架结构。联邦学习和联邦优化的整体结构非常相似。值得注意的是，大多数联邦学习结构都属于横向联邦学习框架，这在联邦优化中也很常见。

• 隐私保护方案。尽管基础的联邦学习算法不共享客户端的原始数据，但它并不能完全保护隐私。如果服务器或客户端是半诚实的，则存在来自梯度和推理攻击的数据泄漏的漏洞。许多已嵌入联邦学习中用以实现隐私保护和可信性的加密原语同样适用于联邦优化。同态加密、安全MPC、差分隐私和安全聚合是联邦学习中最流行的方案，其中同态加密可以直接应用于联邦优化。与在安全联邦学习中一样，联邦数据驱动优化中的客户端可以用私钥加密敏感数据。服务器进行计算并将最优值返回给所有客户端。然后，客户端可以用其私钥解密消息，并获得明文值。类似地，客户端也可以采用差分隐私来向本地数据集、梯度和最终的模型参数添加噪声，以防止推理攻击。最后，如参考文献[148]所述，安全聚合作为安全MPC的一种特殊协议也可以应用于联邦优化。

• 个性化。在经典的联邦学习中，所有客户端共享一个统一的输出，但某些本地特征可能会在聚合的全局模型中丢失。此外，非独立同分布（non-IID）的数据分布可能导致全局模型出现偏差，从而降低学习性能。为满足各个客户端的特定需求，已经提出了多种个性化联邦学习方法，包括客户端聚类、本地微调、元学习、多任务学习以及使用本地参数等[149]。原则上，这些技术也可以应用于联邦优化。

• 激励机制。联邦学习缺少对有足够数据进行训练的用户的吸引力，因为本地模型训练甚至比全局训练更好[150]。为了鼓励更多的用户参与联邦训练，已经提出了许多激励机制。但是，将激励机制直接应用到联邦学习中是很困难的，因为目前还没有标准的方法来评估用户的行为。在联邦学习中，最流行的激励机制包括博弈论、契约理论和强化学习，如基于沙普利值的贡献评估和基于斯塔克尔伯格博弈的贡献评估。这些策略可以应用于联邦优化，以鼓励更多的客户端加入。

4.5.3 联邦学习中常见的挑战

在深入探讨针对安全联邦优化的新要求之前，有必要简要概述联邦学习领域中常遇到的主要挑战。由于联邦优化借鉴了联邦学习的许多思想，因此在结构框架和面临的挑战上，两者存在一定程度的重叠。这些挑战可能包括non-IID数据导致的性能下降、计算和通信成本的增加、客户端层面的公平性问题以及与联邦神经架构搜索相关的复杂性。

• 存在non-IID数据时的模型发散。在机器学习中，non-IID数据指的是数据分布不是IID的场景。先前的一项研究[151]全面总结了五种不同的non-IID形式。为了研究这些non-IID数据对模型的影响，实验结果[152]显示了IID数据和non-IID数据之间的模型性能的差异，并显示了性能的显著下降。研究还表明，在non-IID数据集中FedAvg的准确率下降了高达9%。Zhao等[153]指出，联邦学习的性能下降主要可以归因于模型发散。Lian等[154]提出了一种基于区块链的秘密共享方法，以在不损害用户隐私的情况下，提高模型在non-IID情况下的准确性。关于处理联邦学习中non-IID数据的技术，详见文献[149]。

• 通信效率。联邦学习依赖从客户端到服务器以及从服务器到客户端的模型参数的传输。联邦学习带宽不足会导致通信效率降低、延迟以及学习过程缓慢。此外，随着参与者的数量和迭代轮数的增加，通信开销也随之增加。已有大量研究致力于设计通信高效的联邦学习方法。降低通信成本的策略大致可以分为五类：通过客户端选择和重新调度减少客户端数量[155‒156]；通过模型参数压缩减少要传输的参数的大小[157‒158]；通过压缩减少参数[158‒159]；通过异步更新减少参数传输[160‒161]；或通过神经架构搜索减小模型尺寸[162‒163]。

• 公平性。在标准联邦学习中，所有客户都获得相同的奖励（如聚合后的模型），这对那些对模型性能有显著贡献的客户端可能是不公平的[164‒165]。为了减轻联邦学习中可能存在的不公平，已经提出了几个公平性指标。例如，为了保护弱势客户端，提出了选择公平性，以增加其参与的机会[166]。模型公平性[167‒168]旨在确保联邦训练的模型对特定个体或群体的数据没有歧视，无论客户端之间的数据分布是独立同分布的还是异质的。相反，性能公平性[169]或精度均等性[140]旨在鼓励所有参与者或客户端之间实现统一的准确性标准。协作公平性[144]和贡献公平性[170]是为了确保联邦学习系统的长期稳定而发展起来的，使得对模型性能贡献较高的客户端或参与者获得更高的奖励或激励。尽管公平联邦学习已经取得了很大的进展，但仍处于起步阶段。不同的公平性指标可能会相互冲突[171]，过于强调公平性也会损害模型的精度[172‒173]。因此，如何平衡客户端的利益和模型的性能仍然是一个待解决的问题[174]。

• 联邦神经架构搜索。最近，将神经架构搜索整合到联邦学习中，以一种自动化且隐私保护的方式在客户端之间协作搜索最优模型，已引起越来越多的关注[163,175]。然而，目前提出的联邦神经架构搜索方法较少。现有的方法大多集中在联邦学习中的模型惩罚上。例如，在参考文献[176‒179]中，利用神经架构搜索来搜索个性化的神经结构，以减轻联邦学习中的数据异质性。Pan等[180]提出了一种联邦神经架构搜索的通用框架，允许在基于神经算子的微观层面和基于单元的宏观层面上进行搜索和聚合。参考文献[181]考虑了在多设备环境中（即每个用户的设备存在异质性）服务器根据精度、效率和收敛时间的效用值来选择设备。由于FedAvg中交换的梯度信息可能会泄露隐私，Singh等[182]利用差分隐私，即通过在将梯度发送到服务器进行聚合前加入高斯噪声，来进一步增强隐私保护。在基于进化优化的神经结构搜索的基础上，Zhu和Jin [183]提出了一种双采样方法，对子模型和客户端进行随机采样，以减少计算和通信成本。有趣的是，参考文献[184]中采用了一种联邦进化算法，加速了联邦学习场景中图卷积网络架构的自动设计。

4.5.4 对安全联邦优化的新要求

本小节从模型管理策略、优化中的特殊算子、提升联邦采集函数优化的性能以及优化中的特殊防御方案等方面提出了安全联邦优化的附加要求。

• 模型管理策略。在实现安全联邦优化中的一个关键问题是模型管理策略的设计和优化，即联邦采集函数。例如，在参考文献[130‒132]中，服务器可能会推测出新填充解的目标值，因为新填充解的决策变量、它们的近似目标值和本地模型参数都是服务器已知的，这更有可能导致敏感信息的泄露。因此，在联邦数据驱动优化中，为代理模型管理策略设计额外的隐私保护措施是非常必要的。

• 优化中的特殊算子。在遗传算法[57]中，诸如交叉和变异等算子涉及概率和除法计算，这在安全联邦学习中并不常见。因此，如参考文献[103]所示，需要针对这些算子设计特殊的安全协议。环境选择也是进化优化过程中的一个重要组成部分。如参考文献[103]所述，在单目标进化算法中，两个适应度值的比较可以使用现有的比较协议。但是，在帕累托非支配关系等多目标进化优化算法中，环境选择算子很难高效地加密[102]。因此，为了安全地进行整个优化过程，迫切需要为优化过程中的特殊算子设计高效且有效的加密方案。

• 联邦采集函数的优化。在隐私保护的贝叶斯优化中，预测的目标值在发送给服务器构建代理模型之前会先添加噪声，所以基于受扰动的目标值优化采集函数可能会导致无法找到最优解。因此，亟需设计一种采集函数优化器，能够减轻噪声对优化结果的影响，从而获得一个可接受的新填充解。

• 优化中的特殊防御方案。由于优化中的攻击者试图误导优化过程，而不是像在联邦学习中那样扰乱模型训练，因此期望可以为优化过程设计合适的防御方案，以实现安全的优化。

5 挑战和机遇

尽管在安全和隐私保护优化方面已经取得了令人鼓舞的进展，但仍然存在许多挑战。本节概述了安全优化中的挑战，并在此基础上提出了未来有前景的研究方向。其中一个主要的未解决的问题是优化中的隐私和安全的定义。首先，无论是在联邦学习还是联邦优化背景下，提供一个安全和隐私的定量定义是至关重要且具有挑战性的。此外，安全和隐私保护措施会如何影响优化性能仍未明了。与联邦学习类似，下文将详细阐述如何处理non-IID，如何平衡隐私和安全之间以及安全性和准确性之间的关系，以及如何处理偏好和公平之间的关系。

5.1 优化中隐私和安全的定义

隐私和安全往往密切相关，难以将它们单独定义。例如，安全问题可能与隐私泄露有关。然而，隐私和安全的侧重点往往有所不同。在优化中，如何定义隐私和安全是一项挑战。本文对优化中的安全和隐私给出了如下定义。

根据参考文献[18]，隐私保护通常是指防止公开暴露敏感的个人信息。然而，由于优化中的敏感信息与联邦学习中的敏感信息存在较大差异，因此对于优化中的隐私保护进行如下定义：在优化中，隐私保护是指在优化过程中和优化后对目标函数和约束的参数、使用真实函数评估的个体以及个体相对排名等敏感信息进行保护。安全是指防御可能误导优化过程并给出不准确优化结果的攻击。

5.2 不同的技术策略在优化中的局限性

不同的策略（如差分隐私、同态加密和安全MPC）各有其局限性和优势，总结如下。

• 差分隐私。尽管基于差分隐私的方法具有坚实的理论基础，但将其应用于优化并不总是能获得令人满意的收敛性能。这是因为优化过程通常具有大量迭代。因此，基于差分隐私的方法必须考虑迭代过程中的总隐私泄漏。例如，在参考文献[185]中，为了提高收敛至全局最优解的可能性，在迭代过程中差分隐私噪声逐渐衰减至零。在差分隐私辅助的贝叶斯优化中，即使采用了很小的 ε值，也无法确保对全局最优解[113]的充分保护，因为先前轮次中的扰动解仍将直接影响后续几轮的代理模型的构建和采集函数的优化。

• 同态加密。同态加密已被用于高斯过程建模，具体来说，通过对中间数据加密来实现隐私保护预测[111]。考虑到高斯过程预测涉及计算核函数，而该核函数由观测数据和未观测数据之间的成对决策变量距离组成，在服务器与客户端之间传输这些中间距离值可能会泄露敏感的原始决策变量信息。为此，作者在文献[111]中建议在通信过程中增加少量噪声，以防止不诚实方获取确切的距离信息。因此，可以得出结论，同态加密方法在优化过程中并不能确保完全的隐私保护，并且有必要根据优化过程的特性设计同态加密方案。此外，对于服务器端，在密文上进行计算需要巨大的计算成本。客户端必须使用私钥对值进行解密，这也增加了计算成本。因为密文通常比明文大得多，通信成本也会急剧增加。

• 安全MPC。安全MPC涉及多个主体在没有可信第三方的情况下完成计算任务。每一方都可以在不知道其他方持有的数据的情况下安全地完成计算任务。如前所述，安全MPC中使用的主要技术是秘密共享、不经意传输和混淆电路。联邦学习中常用的安全聚合协议是基于秘密共享的，它只能保护用户的隐私免受半诚实或恶意服务器的攻击。此外，它还涉及加密和解密，这将增加通信和计算成本。对于其他威胁，如恶意客户端和中毒攻击，安全多方计算是不够有效的。

由此可见，诸如差分隐私和同态加密等隐私保护技术无法实现对优化任务的完全保护。因此，根据任务和用户特定的隐私保护要求，需要采用混合技术。

5.3 什么使联邦学习中的隐私保护技术难以在优化中实现？

如前所述，优化涉及更多的敏感数据，并且比学习有更复杂的隐私保护要求。因此，一些应用于联邦学习的隐私保护技术不能直接应用于优化。其中，对新填充的解的保护和差分隐私噪声对优化性能的影响是必须考虑的两个主要的附加挑战。

• 对新查询数据的保护。如参考文献[148]所述，除了保护在优化开始前收集的本地训练数据集外，还需要防止新填充的解被泄露。换句话说，联邦优化中的隐私保护技术有必要同时考虑对原始数据和新填充的解的保护。

• 差分隐私噪声对优化性能的影响。在联邦学习中，将差分隐私噪声添加到模型的权值中，可以实现在保护本地训练数据的同时，不会严重影响模型的精度。然而在优化任务中，在预测的目标值中加入噪声不仅会影响代理模型的训练精度，还会影响采集函数的优化性能，最终可能严重降低优化性能。

5.4 联邦优化中有前景的方向

基于上述讨论，以下六个联邦优化中的研究方向具有重要的前景。

（1）本地优化问题中的异质性。在联邦学习中，一个广泛研究的客户端异质性场景是在横向联邦中，不同客户端上的训练数据是非独立同分布的。联邦学习中的另一个更有挑战性的异质性场景是不同的客户端具有不同的属性，或者部分客户端没有带有标签的数据。相比之下，联邦优化中的一个重要的异质性是，不同的客户端拥有不同的决策变量子集、不同的约束或不同的目标函数。值得一提的是，决策变量、目标和约束的异质性可能需要不同的处理方式。

• 决策变量。即使所有客户端都有相同的决策变量，其操作条件可能会有所不同。因此，如参考文献[130]中所述，随着优化的进行，客户端上的数据将变得越来越非独立同分布。另外，不同的客户端也可能会有不同的决策变量，使得进行联邦优化更具挑战性。

• 目标函数。在多任务优化[186‒188]、多场景优化[189‒190]或多目标优化[82,191]中，不同的客户端可能会有不同的目标。

• 约束。在分布式优化中，每个客户端通常有不同的约束子集。类似地，如参考文献[100,192]中所示，在联邦优化中，不同的客户端可能有不同的约束函数。

（2）隐私保护。在联邦优化中，敏感信息包括全局最优、优化过程中的中间解，甚至包括真实评估解的排名、决策变量和目标值。因此，必须根据联邦优化中的具体情况设计适当的策略。

• 保护种群中解的排名。在求解优化任务时，许多进化算法依赖个体排名进行优化，然而种群中个体的排名可能会泄露敏感信息。因此，如参考文献[148]中所述，与联邦学习和分布式优化不同，在联邦优化中，设计相应的加密方法来保护个体的排名是必要且关键的。

• 混合隐私保护技术。优化过程通常包括若干步骤，如后代的生成和选择，其中涉及许多算子，如乘法、加法和比较。因此，希望在不显著增加通信成本的前提下，将各种高效、有效的加密方法引入到优化过程中。

（3）平衡隐私与安全、效率以及准确性。尽管在联邦学习中总是要在隐私和准确性之间取得平衡，但经过精心设计，分布式优化的性能不一定受到影响。例如，在参考文献[56,193]中，只有在使用原始-对偶乘子法（PDMM）优化器，并将对偶变量初始化为具有足够大方差的随机数时，才能在实现分布式平均一致性的同时保护隐私。在参考文献[194]中，考虑到加入的噪声会增加通信成本，提出了一种自适应差分量化方法，在不损害隐私的前提下实现了较低的通信成本。在联邦学习中，也有可能在隐私保护和效率之间取得平衡。例如，在参考文献[195]中，隐私保护和效率通过三值梯度量化和ElGamal加密取得了平衡，显著减少了传输密文的数量。同样，在优化过程中也有望实现隐私和效率之间的平衡，这是一个很有前景的课题。

（4）公平性。近期，贝叶斯优化 [139,142]中的公平性引起了广泛的关注。如参考文献[174]中所述，公平性优化的研究主要集中在以下三个方面：多目标场景下的决策公平性、联邦优化中的公平性与性能之间的权衡以及数据驱动优化中的公平性建模。

（5）设计新的测试基准问题和性能指标。作为一个新兴的课题，目前尚无针对联邦优化，特别是上述的non-IID场景，而设计的专门测试基准问题。此外，隐私的度量难以量化，不同的用户对隐私泄露的接受程度也不同。因此，需要设计新的测试基准问题和性能指标，用于评估安全、隐私保护的联邦优化。

（6）异步填充采样。在异步贝叶斯优化中，考虑到由于通信中断或仿真错误等问题，每个批次中每个填充解的函数评估可能无法同时完成，研究人员提出了两种应对方法：一种是对正在进行的填充解进行惩罚[196]，另一种是利用汤普森采样获取函数的随机性特征[128,197]来探索更多的区域。在联邦优化框架下，由于每个客户端的计算能力会有显著差异，从而导致填充解的评估时间不同，因此考虑异步批量填充采样也是一个有前景的方向。

6 结论

本综述旨在对隐私保护优化进行全面的文献回顾，包括分布式优化、进化优化、贝叶斯优化和数据驱动的进化优化。除了介绍隐私保护和安全计算方法（如联邦学习和密码学技术）的基本原理，本文还重点讨论了隐私保护学习和优化中的共同和不同需求，并据此概述了未来有前景的研究方向。

希望本综述能够有助于学者认识到隐私保护和安全保护在优化中的重要性，从而促进研究人员对开发隐私保护和安全优化算法及其实际应用的研究兴趣。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

McMahan B, Moore E, Ramage D, Hampson S, Arcas BA. Communication-efficient learning of deep networks from decentralized data. In: Proceedings of the 20th International Conference on Artificial Intelligence and Statistics; 2017 Apr 20‒22; Ft. Lauderdale, FL, USA; 2017.
[2]

Jin Y, Zhu H, Xu J, Chen Y. Federated learning: fundamentals and advances. Singapore: Springer; 2022. . 10.1007/978-981-19-7083-2_4
[3]

Voigt P, von dem Bussche A. The EU General Data Protection Regulation (GDPR): a practical guide. 1st ed. Cham: Springer; 2017. . 10.1007/978-3-319-57959-7
[4]

Yang Q, Liu Y, Cheng Y, Kang Y, Chen T, Yu H. Federated learning—synthesis lectures on artificial intelligence and machine learning. Kentfield: Morgan & Claypool Publishers; 2019. . 10.2200/s00960ed2v01y201910aim043
[5]

Zhu L, Liu Z, Han S. Deep leakage from gradients. In: Proceedings of the 33rd Conference on Neural Information Processing Systems; 2019 Dec 8‒14; Vancouver, BC, Canada; 2019.
[6]

Lyu L, Yu H, Yang Q. Threats to federated learning: a survey. 2020. arXiv:10.1007/978-3-030-63076-8_1
[7]

Dwork C. Differential privacy: a survey of results. In: Agrawal M, Du DZ, Duan ZH, Li AS, editors. Theory and applications of models of computation. Berlin: Springer; 2008. . 10.1007/978-3-540-79228-4
[8]

Truong N, Sun K, Wang S, Guitton F, Guo Y. Privacy preservation in federated learning: an insightful survey from the GDPR perspective. Comput Secur 2021;110:102402. . 10.1016/j.cose.2021.102402
[9]

Jin Y, Wang H, Sun C. Data-driven evolutionary optimization: integrating evolutionary computation, machine learning and data science. Cham: Springer; 2021. . 10.1007/978-3-030-74640-7_5
[10]

Shahriari B, Swersky K, Wang Z, Adams RP, De Freitas N. Taking the human out of the loop: a review of Bayesian optimization. Proc IEEE 2015;104(1):148‒75. . 10.1109/jproc.2015.2494218
[11]

Jin Y. Surrogate-assisted evolutionary computation: recent advances and future challenges. Swarm Evol Comput 2011;1(2):61‒70. . 10.1016/j.swevo.2011.05.001
[12]

Jones DR, Schonlau M, Welch WJ. Efficient global optimization of expensive black-box functions. J Glob Optim 1998;13(4):455‒92. . 10.1023/a:1008306431147
[13]

Yu X, Gen M. Introduction to evolutionary algorithms. London: Springer Science & Business Media; 2010. . 10.1007/978-1-84996-129-5
[14]

Back T. Evolutionary algorithms in theory and practice: evolution strategies, evolutionary programming, genetic algorithms. Oxford: Oxford University Press; 1996. . 10.1093/oso/9780195099713.001.0001
[15]

Boyd S, Parikh N, Chu E, Peleato B, Eckstein J. Distributed optimization and statistical learning via the alternating direction method of multipliers. Found Trends Mach learn 2011;3(1):1‒122. . 10.1561/2200000016
[16]

Mothukuri V, Parizi RM, Pouriyeh S, Huang Y, Dehghantanha A, Srivastava G. A survey on security and privacy of federated learning. Future Gener Comput Syst 2021;115:619‒40. . 10.1016/j.future.2020.10.007
[17]

Yin X, Zhu Y, Hu J. A comprehensive survey of privacy-preserving federated learning: a taxonomy, review, and future directions. ACM Comput Surv 2021;54(6):131. . 10.1145/3460427
[18]

Zhang K, Song X, Zhang C, Yu S. Challenges and future directions of secure federated learning: a survey. Front Comput Sci 2022;16:165817. . 10.1007/s11704-021-0598-z
[19]

Li Q, Wen Z, Wu Z, Hu S, Wang N, Li Y, et al. A survey on federated learning systems: vision, hype and reality for data privacy and protection. IEEE Trans Knowl Data Eng 2023;35(4):3347‒66. . 10.1109/tkde.2021.3124599
[20]

Cao L, Chen H, Fan X, Gama J, Ong YS, Kumar V. Bayesian federated learning: a survey. 2023. arXiv:
[21]

Weeraddana PC, Athanasiou G, Jakobsson M, Fischione C, Baras J. Per-se privacy preserving distributed optimization. 2012. arXiv:
[22]

Yang T, Yi X, Wu J, Yuan Y, Wu D, Meng Z, et al. A survey of distributed optimization. Annu Rev Contr 2019;47:278‒305. . 10.1016/j.arcontrol.2019.05.006
[23]

Li Q, Gundersen JS, Heusdens R, Christensen MG. Privacy-preserving distributed processing: metrics, bounds and algorithms. IEEE Trans Inf Forensics Secur 2021;16:2090‒103. . 10.1109/tifs.2021.3050064
[24]

Molzahn DK, Dörfler F, Sandberg H, Low SH, Chakrabarti S, Baldick R, et al. A survey of distributed optimization and control algorithms for electric power systems. IEEE Trans Smart Grid 2017;8(6):2941‒62. . 10.1109/tsg.2017.2720471
[25]

Zhao B, Chen WN, Li X, Liu X, Pei Q, Zhang J. When evolutionary computation meets privacy. 2023. arXiv:10.1109/mci.2023.3327892
[26]

Wang X, Jin Y, Schmitt S, Olhofer M. Recent advances in Bayesian optimization. ACM Comput Surv 2023;55(13s):287. . 10.1145/3582078
[27]

Jin Y, Wang H, Chugh T, Guo D, Miettinen K. Data-driven evolutionary optimization: an overview and case studies. IEEE Trans Evol Comput 2019;23(3):442‒58. . 10.1109/tevc.2018.2869001
[28]

Gentry C. A fully homomorphic encryption scheme. Palo Alto: Stanford University; 2009. . 10.1145/1536414.1536440
[29]

Yao AC. Protocols for secure computations. In: Proceedings of 23rd Annual Symposium on Foundations of Computer Science (SFCS 1982); 1982 Nov 3‒5; Chicago, IL, USA; 1982. . 10.1109/sfcs.1982.38
[30]

Shamir A. How to share a secret. Commun ACM 1979;22(11):612‒3. . 10.1145/359168.359176
[31]

Gollmann D. Computer security. Wiley Interdiscip Rev Comput Stat 2010;2(5):544‒54. . 10.1002/wics.106
[32]

Sweeney L. k-anonymity: a model for protecting privacy. Int J Uncertain Fuzziness Knowl Based Syst 2002;10(05):557‒70. . 10.1142/s0218488502001648
[33]

Machanavajjhala A, Kifer D, Gehrke J, Venkitasubramaniam M. L-diversity: privacy beyond k-anonymity. ACM Trans Knowl Discov Data 2007;1(1):3. . 10.1145/1217299.1217302
[34]

Li N, Li T, Venkatasubramanian S. t-closeness: privacy beyond k-anonymity and l-diversity. In: Proceedings of 2007 IEEE 23rd International Conference on Data Engineering; 2007 Apr 15‒20; Istanbul, Turkey; 2007. . 10.1109/icde.2007.367856
[35]

Rivest RL, Adleman L, Dertouzos ML. On data banks and privacy homomorphisms. Found Secur Comput 1978;4:169‒80.
[36]

Su H, Chen H. Experiments on parallel training of deep neural network using model averaging. 2015. arXiv:
[37]

Dean J, Corrado G, Monga R, Chen K, Devin M, Mao M, et al. Large scale distributed deep networks. In: Proceedings of the 26th Annual Conference on Neural Information Processing Systems; 2012 Dec 3‒6; Lake Tahoe, NV, USA; 2012.
[38]

Chang K, Balachandar N, Lam C, Yi D, Brown J, Beers A, et al. Distributed deep learning networks among institutions for medical imaging. J Am Med Inform Assoc 2018;25(8):945‒54. . 10.1093/jamia/ocy017
[39]

Sheller MJ, Reina GA, Edwards B, Martin J, Bakas S. Multi-institutional deep learning modeling without sharing patient data: a feasibility study on brain tumor segmentation. In: Proceedings of International MICCAI Brainlesion Workshop; 2022 Sep 18; Singapore; 2018. . 10.1007/978-3-030-11723-8_9
[40]

Gupta O, Raskar R. Distributed learning of deep neural network over multiple agents. J Netw Comput Appl 2018;116:1‒8. . 10.1016/j.jnca.2018.05.003
[41]

Custers B, Sears AM, Dechesne F, Georgieva I, Tani T, Van der Hof S. EU personal data protection in policy and practice. Hague: Springer; 2019. . 10.1007/978-94-6265-282-8
[42]

Rahman MA, Rahman T, Laganière R, Mohammed N, Wang Y. Membership inference attack against differentially private deep learning model. Trans Data Priv 2018;11:61‒79.
[43]

Zhang X, Zhu X, Lessard L. Online data poisoning attacks. In: Proceedings of the 2nd Conference on Learning for Dynamics and Control; 2020 Jun 11‒12; Berkeley, CA, USA; 2020.
[44]

Du W, Atallah MJ. Secure multi-party computation problems and their applications: a review and open problems. In: Proceedings of the 2001 Workshop on New Security Paradigms; 2001 Sep 10‒13; Cloudcroft, NM, USA; 2001. p. 13‒22. . 10.1145/508171.508174
[45]

Shokri R, Shmatikov V. Privacy-preserving deep learning. In: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security; 2015 Oct 12‒16; Denver, CO, USA; 2015. p. 1310‒21. . 10.1145/2810103.2813687
[46]

Abadi M, Chu A, Goodfellow I, McMahan HB, Mironov I, Talwar K, et al. Deep learning with differential privacy. In: Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security; 2016 Oct 24‒28; Vienna, Austria; 2016. . 10.1145/2976749.2978318
[47]

Bonawitz K, Ivanov V, Kreuter B, Marcedone A, McMahan HB, Patel S, et al. Practical secure aggregation for privacy-preserving machine learning. In: Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security; 2017 Oct 30‒Nov 3; Dallas, TX, USA; 2017. . 10.1145/3133956.3133982
[48]

Choudhury O, Gkoulalas-Divanis A, Salonidis T, Sylla I, Park Y, Hsu G, et al. Anonymizing data for privacy-preserving federated learning. 2020. arXiv:10.3233/faia200290
[49]

Song J, Wang W, Gadekallu TR, Cao J, Liu Y. EPPDA: an efficient privacy-preserving data aggregation federated learning scheme. IEEE Trans Netw Sci Eng 2023;10(5):3047‒57. . 10.1109/tnse.2022.3153519
[50]

Truex S, Baracaldo N, Anwar A, Steinke T, Ludwig H, Zhang R, et al. A hybrid approach to privacy-preserving federated learning. In: Proceedings of the 12th ACM Workshop on Artificial Intelligence and Security; 2019 Nov 15; London, UK; 2012.
[51]

Xu R, Baracaldo N, Zhou Y, Anwar A, Ludwig H. Hybrid Alpha: an efficient approach for privacy-preserving federated learning. In: Proceedings of the 12th ACM Workshop on Artificial Intelligence and Security; 2019 Nov 15; London, UK; 2019. p. 13‒23. . 10.1145/3338501.3357371
[52]

Zhu H, Wang R, Jin Y, Liang K. PIVODL: privacy-preserving vertical federated learning over distributed labels. IEEE Trans Artif Intell 2023;4(5):988‒1001. . 10.1109/tai.2021.3139055
[53]

Lian Z, Yang Q, Wang W, Zeng Q, Alazab M, Zhao H, et al. DEEP-FEL: decentralized, efficient and privacy-enhanced federated edge learning for healthcare cyber physical systems. IEEE Trans Netw Sci Eng 2022;9(5):3558‒69. . 10.1109/tnse.2022.3175945
[54]

Zhang S, Choromanska AE, LeCun Y. Deep learning with elastic averaging SGD. In: Proceedings of the 29th Annual Conference on Neural Information Processing Systems (NIPS 2015); 2015 Dec 11‒12; Montreal, QC, Canada; 2015.
[55]

Kingma DP, Ba J. Adam: a method for stochastic optimization. 2014. arXiv:
[56]

Li Q, Heusdens R, Christensen MG. Privacy-preserving distributed optimization via subspace perturbation: a general framework. IEEE Trans Signal Process 2020;68:5983‒96. . 10.1109/tsp.2020.3029887
[57]

Kramer O. Genetic algorithms. In: Kramer O, editor. Genetic algorithm essentials. Cham: Springer; 2017. . 10.1007/978-3-319-52156-5_2
[58]

Deb K, Pratap A, Agarwal S, Meyarivan T. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE Trans Evol Comput 2002;6(2):182‒97. . 10.1109/4235.996017
[59]

Cheng R, Jin Y, Olhofer M, Sendhoff B. A reference vector guided evolutionary algorithm for many-objective optimization. IEEE Trans Evol Comput 2016;20(5):773‒91. . 10.1109/tevc.2016.2519378
[60]

Auer P. Using confidence bounds for exploitation‒exploration trade-offs. J Mach Learn Res 2002;3:397‒422.
[61]

Wang Z, Jegelka S. Max-value entropy search for efficient Bayesian optimization. In: Proceedings of the 34th International Conference on Machine Learning; 2017 Aug 6‒11; Sydney, NSW, Australia; 2017.
[62]

Rodemann T. A many-objective configuration optimization for building energy management. Brazil: Rio de Janeiro; 2018. . 10.1109/cec.2018.8477966
[63]

Ye X, Chen B, Li P, Jing L, Zeng G. A simulation-based multi-agent particle swarm optimization approach for supporting dynamic decision making in marine oil spill responses. Ocean Coast Manage 2019;172:128‒36. . 10.1016/j.ocecoaman.2019.02.003
[64]

Schmitt T, Hoffmann M, Rodemann T, Adamy J. Incorporating human preferences in decision making for dynamic multi-objective optimization in model predictive control. Inventions 2022;7(3):46. . 10.3390/inventions7030046
[65]

Abdi H, Williams LJ. Principal component analysis. Wiley Interdiscip Rev Comput Stat 2010;2(4):433‒59. . 10.1002/wics.101
[66]

Belkina AC, Ciccolella CO, Anno R, Halpert R, Spidlen J, Snyder-Cappione JE. Automated optimized parameters for T-distributed stochastic neighbor embedding improve visualization and analysis of large datasets. Nat Commun 2019;10:5415. . 10.1038/s41467-019-13055-y
[67]

Ntelemis F, Jin Y, Thomas SA. Image clustering using an augmented generative adversarial network and information maximization. IEEE Trans Neural Netw Learn Syst 2022;33(12):7461‒74. . 10.1109/tnnls.2021.3085125
[68]

Ntelemis F, Jin Y, Thomas SA. Information maximization clustering via multi-view self-labelling. Knowl Base Syst 2022;250:109042. . 10.1016/j.knosys.2022.109042
[69]

He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2016 Jun 26‒Jul 1; Las Vegas, NV, USA; 2016. . 10.1109/cvpr.2016.90
[70]

Gaikwad SK, Gawali BW, Yannawar P. A review on speech recognition technique. Int J Comput Appl 2010;10:16‒24. . 10.5120/1462-1976
[71]

Yu D, Deng L. Automatic speech recognition. Cham: Springer; 2015. . 10.1007/978-1-4471-5779-3
[72]

Chowdhary KR. Natural language processing. In: Chowdhary KR, editor. Fundamentals of artificial intelligence. Cham: Springer; 2020. . 10.1007/978-81-322-3972-7_19
[73]

Van Engelen JE, Hoos HH. A survey on semi-supervised learning. Mach Learn 2020; 109(2):373‒440. . 10.1007/s10994-019-05855-6
[74]

Zhuang F, Qi Z, Duan K, Xi D, Zhu Y, Zhu H, et al. A comprehensive survey on transfer learning. Proc IEEE 2020;109(1):43‒76. . 10.1109/jproc.2020.3004555
[75]

Jaiswal A, Babu AR, Zadeh MZ, Banerjee D, Makedon F. A survey on contrastive self-supervised learning. Technologies 2020;9(1):2. . 10.3390/technologies9010002
[76]

Sun S, Cao Z, Zhu H, Zhao J. A survey of optimization methods from a machine learning perspective. IEEE Trans Cybern 2019;50(8):3668‒81. . 10.1109/tcyb.2019.2950779
[77]

Bäck T, Schwefel HP. An overview of evolutionary algorithms for parameter optimization. Evol Comput 1993;1(1):1‒23. . 10.1162/evco.1993.1.1.1
[78]

Van Laarhoven PJ, Aarts EH. Simulated annealing: theory and applications. Cham: Springer; 1987. . 10.1007/978-94-015-7744-1_2
[79]

Yuan Y, Xu H, Wang B, Yao X. A new dominance relation-based evolutionary algorithm for many-objective optimization. IEEE Trans Evol Comput 2016;20(1):16‒37. . 10.1109/tevc.2015.2420112
[80]

Zhang Q, Li H. MOEA/D: a multiobjective evolutionary algorithm based on decomposition. IEEE Trans Evol Comput 2007;11(6):712‒31. . 10.1109/tevc.2007.892759
[81]

Liu Q, Jin Y, Heiderich M, Rodemann T. Adaptation of reference vectors for evolutionary many-objective optimization of problems with irregular Pareto fronts. In: Proceedings of 2019 IEEE Congress on Evolutionary Computation (CEC); 2019 Jun 10‒13; Wellington, New Zealand; 2019. . 10.1109/cec.2019.8790214
[82]

Liu Q, Jin Y, Heiderich M, Rodemann T, Yu G. An adaptive reference vector guided evolutionary algorithm using growing neural gas for many-objective optimization of irregular problems. IEEE Trans Cybern 2020;52(5):2698‒711.
[83]

Sun Y, Yen GG, Yi Z. IGD indicator-based evolutionary algorithm for many-objective optimization problems. IEEE Trans Evol Comput 2018;23(2):173‒87. . 10.1109/tevc.2018.2791283
[84]

Bader J, Zitzler E, Hyp E. An algorithm for fast hyper-volume-based many-objective optimization. Evol Comput 2011;19(1):45‒76. . 10.1162/evco_a_00009
[85]

Zhou Y, Zhu M, Wang J, Zhang Z, Xiang Y, Zhang J. Tri-goal evolution framework for constrained many-objective optimization. IEEE Trans Syst Man Cybern Syst 2020;50:3086‒99. . 10.1109/tsmc.2018.2858843
[86]

Yu G, Ma L, Jin Y, DuW, Liu Q, Zhang H. A survey on knee-oriented multi-objective evolutionary optimization. IEEE Trans Evol Comput 2022;26(6):1452‒72. . 10.1109/tevc.2022.3144880
[87]

Said LB, Bechikh S, Ghédira K. The r-dominance: a new dominance relation for interactive evolutionary multicriteria decision making. IEEE Trans Evol Comput 2010;14(5):801‒18. . 10.1109/tevc.2010.2041060
[88]

Deb K, Sinha A, Korhonen PJ, Wallenius J. An interactive evolutionary multi-objective optimization method based on progressively approximated value functions. IEEE Trans Evol Comput 2010;14(5):723‒39. . 10.1109/tevc.2010.2064323
[89]

Coello CAC, Brambila SG, Gamboa JF, Tapia MGC, Gómez RH. Evolutionary multiobjective optimization: open research areas and some challenges lying ahead. Complex Intell Syst 2020;6(2):221‒36. . 10.1007/s40747-019-0113-4
[90]

Sakuma J, Kobayashi S. A genetic algorithm for privacy preserving combinatorial optimization. In: Proceedings of the 9th Annual Conference on Genetic and Evolutionary Computation; 2007 Jul 7‒11; London, UK; 2007. . 10.1145/1276958.1277214
[91]

Han S, Ng WK. Privacy-preserving genetic algorithms for rule discovery. In: Proceedings of International Conference on Data Warehousing and Knowledge Discovery; 2007 Sep 3‒7; Regensburg, Germany; 2007. . 10.1007/978-3-540-74553-2
[92]

Goethals B, Laur S, Lipmaa H, Mielikäinen T. On private scalar product computation for privacy-preserving data mining. In: Proceedings of International Conference on Information Security and Cryptology; 2004 Dec 2‒3: Seoul, Republic of Korea; 2004. p. 104‒20. . 10.1007/11496618_9
[93]

Hong Y, Vaidya J, Lu H. Securely solving the distributed graph coloring problem. 2018. arXiv:
[94]

Bogunovic I, Scarlett J, Jegelka S, Cevher V. Adversarially robust optimization with Gaussian processes. In: Proceedings of Advances in Neural Information Processing Systems; 2018 Dec 3‒8; Montréal QC, Canada; 2018. . 10.1109/camsap.2017.8313155
[95]

Cai X, Scarlett J. On lower bounds for standard and robust Gaussian process bandit optimization. In: Proceedings of International Conference on Machine Learning; 2021 Jul 18‒24; online; 2021. p. 1216‒26.
[96]

Bogunovic I, Krause A, Scarlett J. Corruption-tolerant Gaussian process bandit optimization. In: Proceedings of International Conference on Artificial Intelligence and Statistics; 2020 Aug 26‒28; online; 2020. p. 1071‒81.
[97]

Han E, Scarlett J. Adversarial attacks on Gaussian process bandits. In: Proceedings of International Conference on Machine Learning; 2022 Jul 17‒23; Baltimore, Maryland; 2022. p. 8304‒29.
[98]

Zhan ZH, Wu SH, Zhang J. A new evolutionary computation framework for privacy-preserving optimization. In: Proceedings of International Conference on Advanced Computational Intelligence; 2021 May 14‒16; Wanzhou, China; 2021. p. 220‒6. . 10.1109/icaci52617.2021.9435860
[99]

Zhao B, Liu X, Song A, Chen WN, Lai KK, Zhang J, et al. PriMPSO: a privacy-preserving multiagent particle swarm optimization algorithm. IEEE Trans Cybern 2023;53(11):7136‒49. . 10.1109/tcyb.2022.3224169
[100]

Bogdanov D, Emura K, Jagomägis R, Kanaoka A, Matsuo S, Willemson J. A secure genetic algorithm for the subset cover problem and its application to privacy protection. In: Proceedings of International Workshop on Information Security Theory and Practice; 2014 Jun 30‒July 2; Crete, Greece; 2014. p.108‒23. . 10.1007/978-3-662-43826-8_8
[101]

Yan Y, Han D, Shu T. Privacy preserving optimization of participatory sensing in mobile cloud computing. In: Proceedings of International Conference on Distributed Computing Systems; 2017 Jun 5‒8; Atlanta, GA, USA; 2017. p. 1084‒93. . 10.1109/icdcs.2017.87
[102]

Funke D, Kerschbaum F. Privacy-preserving multi-objective evolutionary algorithms. In: Proceedings of International Conference on Parallel Problem Solving from Nature; 2010 Sep 11‒15; Krakow, Poland; 2010. p. 41‒50. . 10.1007/978-3-642-15871-1_5
[103]

Zhao B, Chen WN, Wei FF, Liu X, Pei Q, Zhang J. Evolution as a service: a privacy-preserving genetic algorithm for combinatorial optimization. 2022. arXiv:
[104]

Suo J, Gu L, Yan X, Yang S, Hu X, Wang L. PP-QIGA: a privacy-preserving quantum inspired genetic algorithm for the double digest problem. 2022. reseachsquare:10.21203/rs.3.rs-1941096/v1.
[105]

Hong Y, Vaidya J, Lu H, Wang L. Collaboratively solving the traveling salesman problem with limited disclosure. In: Proceedings of the 4th ACM Conference on Data and Application Security and Privacy; 2014 Mar 3‒5; San Antonio, TX, USA; 2014. p. 179‒94. . 10.1007/978-3-662-43936-4_12
[106]

Hong Y, Vaidya J. An inference‒proof approach to privacy-preserving horizontally partitioned linear programs. Optim Lett 2014;8(1):267‒77. . 10.1007/s11590-012-0572-7
[107]

Hong Y, Vaidya J, Rizzo N, Liu Q. Privacy-preserving linear programming. In: Goel S, Hong Y, Giboney J, Atrey P, editors. World scientific reference on innovation: volume 4: innovation in information security. Singapore: World Scientific; 2018. . 10.1142/9789813149106_0004
[108]

Borden AR, Molzahn DK, Lesieutre BC, Ramanathan P. Power system structure and confidentiality preserving transformation of optimal power flow problem. In: Proceedings of Annual Allerton Conference on Communication, Control, and Computing; 2013 Oct 2‒4; Monticello, IL, USA; 2013. p. 1021‒8. . 10.1109/allerton.2013.6736637
[109]

Gupta A, Ligett K, McSherry F, Roth A, Talwar K. Differentially private combinatorial optimization. In: Proceedings of the Twenty-First Annual ACM-SIAM Symposium on Discrete Algorithms; 2010 Jan 17‒19; Austin, TX, USA; 2010. p. 1106‒25. . 10.1137/1.9781611973075.90
[110]

Kusner M, Gardner J, Garnett R, Weinberger K. Differentially private Bayesian optimization. In: Proceedings of International Conference on Machine Learning; 2015 Jul 6‒11; Lille Grand Palais, France; 2015. p. 918‒27.
[111]

Fenner P, Pyzer-Knapp E. Privacy-preserving Gaussian process regression—a modular approach to the application of homomorphic encryption. In: Proceedings of Thirty-Fourth AAAI Conference on Artificial Intelligence; 2020 Feb 7‒12; New York City, NY, USA; 2020. p. 3866‒73. . 10.1609/aaai.v34i04.5799
[112]

Luo J, Zhang Y, Zhang J, Qin S, Wang H, Yu Y, et al. Practical privacy-preserving Gaussian process regression via secret sharing. 2023. arXiv:
[113]

Nguyen TD, Gupta S, Rana S, Venkatesh S. A privacy preserving Bayesian optimization with high efficiency. In: Proceedings of Pacific-Asia Conference on Knowledge Discovery and Data Mining; 2018 Jun 3‒6; Melbourne, VIC, Australia; 2018. p. 543‒55. . 10.1007/978-3-319-93040-4_43
[114]

Xiong Z, Li L, Yan J, Wang H, He H, Jin Y. Differential privacy with variant-noise for Gaussian processes classification. In: Proceedings of Pacific Rim International Conference on Artificial Intelligence; 2019 Aug 26‒30; Yanuca Island, Fuji; 2019. p. 107‒19. . 10.1007/978-3-030-29894-4_9
[115]

Kharkovskii D, Dai Z, Low BKH. Private outsourced Bayesian optimization. In: Proceedings of International Conference on Machine Learning; 2020 Jul 12‒18; Vienna, Austria; 2020. p. 5231‒42.
[116]

Zhang C, Ahmad M, Wang Y. ADMM based privacy-preserving decentralized optimization. IEEE Trans Inf Forensics Secur 2018;14(3):565‒80. . 10.1109/tifs.2018.2855169
[117]

Zhang C, Wang Y. Enabling privacy-preservation in decentralized optimization. IEEE Trans Control Netw Syst 2018;6(2):679‒89. . 10.1109/tcns.2018.2873152
[118]

Ruan M, Ahmad M, Wang Y. Secure and privacy-preserving average consensus. In: Proceedings of the 2017 Workshop on Cyber‒Physical Systems Security and Privacy; 2017 Nov 3; Dallas, TX, USA; 2017. p. 123‒9. . 10.1145/3140241.3140243
[119]

Gao H, Zhang C, Ahmad M, Wang Y. Privacy-preserving average consensus on directed graphs using push-sum. In: Proceedings of the 6th Annual IEEE Conference on Communications and Network Security (CNS); 2018 May 30‒Jun 1; Beijing, China; 2018. . 10.1109/cns.2018.8433217
[120]

Tian N, Guo Q, Sun H, Zhou X. Fully privacy-preserving distributed optimization based on secret sharing. 2021. TechRxiv.
[121]

Li Q, Cascudo I, Christensen MG. Privacy-preserving distributed average consensus based on additive secret sharing. In: Proceedings of the 27th European Signal Processing Conference; 2019 Sep 2‒6; A Coruña, Spain; 2019. . 10.23919/eusipco.2019.8902577
[122]

Zhang T, Zhu Q. Dynamic differential privacy for ADMM-based distributed classification learning. IEEE Trans Inf Forensics Secur 2016;12(1):172‒87. . 10.1109/tifs.2016.2607691
[123]

Huang Z, Hu R, Guo Y, Chan-Tin E, Gong Y. DP-ADMM: ADMM-based distributed learning with differential privacy. IEEE Trans Inf Forensics Secur 2019;15:1002‒12. . 10.1109/tifs.2019.2931068
[124]

Zhang X, Khalili MM, Liu M. Improving the privacy and accuracy of ADMM-based distributed algorithms. In: Proceedings of International Conference on Machine Learning; 2018 Jul 10‒15; Stockholmsmässan, Sweden; 2018. p. 5796‒805. . 10.1109/allerton.2018.8635916
[125]

Huang Z, Mitra S, Vaidya N. Differentially private distributed optimization. In: Proceedings of the 16th International Conference on Distributed Computing and Networking; 2015 Jan 4‒7; Goa, India; 2015. . 10.1145/2684464.2684480
[126]

Gauthier F, Gratton C, Venkategowda NK, Werner S. Privacy-preserving distributed learning with nonsmooth objective functions. In: Proceedings of the 54th Asilomar Conference on Signals, Systems, and Computers; 2020 Nov 1‒4; online; 2020. p. 42‒6. . 10.1109/ieeeconf51394.2020.9443287
[127]

Ding T, Zhu S, He J, Chen C, Guan X. Differentially private distributed optimization via state and direction perturbation in multiagent systems. IEEE Trans Automat Contr 2021;67(2):722‒37. . 10.1109/tac.2021.3059427
[128]

Dai Z, Low BKH, Jaillet P. Federated Bayesian optimization via Thompson sampling. In: Proceedings of the 34th Conference on Neural Information Processing Systems; 2020 Dec 6‒12; Vancouver, BC, Canada; 2020. p. 9687‒99. . 10.1016/b978-0-44-319037-7.00023-5
[129]

Dai Z, Low BKH, Jaillet P. Differentially private federated Bayesian optimization with distributed exploration. In: Proceedings of the 35th Conference on Neural Information Processing Systems; 2021 Dec 6‒14; online; 2021. p. 9125‒39. . 10.1016/b978-0-44-319037-7.00023-5
[130]

Xu J, Jin Y, Du W, Gu S. A federated data-driven evolutionary algorithm. Knowl Base Syst 2021;233:107532. . 10.1016/j.knosys.2021.107532
[131]

Xu J, Jin Y, Du W. A federated data-driven evolutionary algorithm for expensive multi-/many-objective optimization. Complex Intell Syst 2021;7(6):3093‒109. . 10.1007/s40747-021-00506-7
[132]

Guo XQ, Chen WN, Wei FF, Mao WT, Hu XM, Zhang J. Edge‒cloud co-evolutionary algorithms for distributed data-driven optimization problems. IEEE Trans Cybern 2023;53(10):6598‒611. . 10.1109/tcyb.2022.3219452
[133]

Torra V, Galván E, Navarro-Arribas G. Pso + fl = paaso: particle swarm optimization + federated learning = privacy-aware agent swarm optimization. Int J Inf Secur 2022;21(6):1349‒59. . 10.1007/s10207-022-00614-6
[134]

Kathen MJT, Johnson P, Flores IJ, Reina DGE. Aquafel-PSO: a monitoring system for water resources using autonomous surface vehicles based on multimodal PSO and federated learning. 2022. arXiv:
[135]

Cheng A, Wang Z, Li Y, Cheng J. HPN: personalized federated hyperparameter optimization. 2023. arXiv:
[136]

Zhang X, Yuan Z, Zhu M. Byzantine-tolerant federated Gaussian process regression for streaming data. Adv Neural Inf Process Syst 2022;35:13499‒511.
[137]

Salgia S, Vakili S, Zhao Q. Collaborative learning in kernel-based bandits for distributed users. 2023. arXiv:10.1109/tsp.2023.3325925
[138]

Zhu H, Wang X, Jin Y. Federated many-task Bayesian optimization. IEEE Trans Evol Comput. In press. . 10.1109/tevc.2023.3279775
[139]

Sim RHL, Zhang Y, Low BKH, Jaillet P. Collaborative Bayesian optimization with fair regret. In: Proceedings of International Conference on Machine Learning; 2021 Jul 18‒24; online; 2021. p. 9691‒701. . 10.1609/aaai.v35i10.17103
[140]

Li T, Sanjabi M, Beirami A, Smith V. Fair resource allocation in federated learning. 2019. arXiv:
[141]

Candelieri A, Ponti A, Archetti F. Fair and green hyperparameter optimization via multi-objective and multiple information source Bayesian optimization. 2022. arXiv:
[142]

Perrone V, Donini M, Zafar MB, Schmucker R, Kenthapadi K, Archambeau C. Fair Bayesian optimization. In: Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society; 2021 May 19‒21; online; 2021. p. 854‒63. . 10.1145/3461702.3462629
[143]

Mehrabi N, de Lichy C, McKay J, He C, Campbell W. Towards multi-objective statistically fair federated learning. 2022. arXiv:
[144]

Lyu L, Xu X, Wang Q, Yu H. Collaborative fairness in federated learning. In: Yang Q, Fan L, Yu H, editors. Federated learning. Cham: Springer; 2020. . 10.1007/978-3-030-63076-8_14
[145]

Liu C, Fan Z, Zhou Z, Shi Y, Pei J, Chu L, et al. Achieving model fairness in vertical federated learning. 2021. arXiv:
[146]

Zhang C, Gao H, Wang Y. Privacy-preserving decentralized optimization via decomposition. 2018. arXiv:10.1109/tifs.2018.2855169
[147]

Wang Y. Privacy-preserving average consensus via state decomposition. IEEE Trans Automat Contr 2019;64(11):4711‒6. . 10.1109/tac.2019.2902731
[148]

Liu Q, Yan Y, Ligeti P, Jin Y. A secure federated data-driven evolutionary multi-objective optimization algorithm. IEEE Trans Emerg Top Comput Intell., in press. . 10.1109/tetci.2023.3313555
[149]

Zhu H, Xu J, Liu S, Jin Y. Federated learning on non-IID data: a survey. Neurocomputing 2021;465:371‒90. . 10.1016/j.neucom.2021.07.098
[150]

Yan Y, Ligeti P. A survey of personalized and incentivemechanisms for federated learning. In: Proceedings of IEEE 2nd Conference on Information Technology and Data Science. 2022 May 16‒18; Debrecen, Hungary; 2022. p. 324‒9. . 10.1109/citds54976.2022.9914268
[151]

Kairouz P, McMahan HB, Avent B, Bellet A, Bennis M, Bhagoji AN, et al. Advances and open problems in federated learning. Found Trends Mach learn 2021;14(1‒2):1‒210.
[152]

Chai D, Wang L, Chen K, Yang Q. Fedeval: a benchmark system with a comprehensive evaluation model for federated learning. 2020. arXiv:
[153]

Zhao Y, Li M, Lai L, Suda N, Civin D, Chandra V. Federated learning with non-IID data. 2018. arXiv:
[154]

Lian Z, Zeng Q, Wang W, Gadekallu TR, Su C. Blockchain-based two-stage federated learning with non-IID data in IoMT system. IEEE Trans Comput Soc Syst 2023;10(4):1701‒10. . 10.1109/tcss.2022.3216802
[155]

Nishio T, Yonetani R. Client selection for federated learning with heterogeneous resources in mobile edge. In: Proceedings of IEEE International Conference on Communications; 2019 May 20‒24; Shanghai, China; 2019. . 10.1109/icc.2019.8761315
[156]

Deng Y, Lyu F, Ren J, Wu H, Zhou Y, Zhang Y, et al. Auction: automated and quality-aware client selection framework for efficient federated learning. IEEE Trans Parallel Distrib Syst 2021;33(8):1996‒2009. . 10.1109/tpds.2021.3134647
[157]

Konecny´ J, McMahan HB, Yu F, Richtárik P, Suresh AT, Bacon D. Federated learning: Strategies for improving communication efficiency. 2017. arXiv:
[158]

Sattler F, Wiedemann S, Müller KR, Samek W. Robust and communication-efficient federated learning from non-IID data. IEEE Trans Neural Netw Learn Syst 2019;31(9):3400‒13. . 10.1109/tnnls.2019.2944481
[159]

Xu J, Du W, Jin Y, He W, Cheng R. Ternary compression for communication-efficient federated learning. IEEE Trans Neural Netw Learn Syst 2022;33(3):1162‒76. . 10.1109/tnnls.2020.3041185
[160]

Chen Y, Sun X, Jin Y. Communication-efficient federated deep learning with layer-wise asynchronous model update and temporally weighted aggregation. IEEE Trans Neural Netw Learn Syst 2020;31(10):4229‒38. . 10.1109/tnnls.2019.2953131
[161]

Guo Q, Qi Y, Qi S, Wu D, Li Q. FedMCSA: personalized federated learning via model components self-attention. 2022. arXiv:10.1016/j.neucom.2023.126831
[162]

Zhu H, Jin Y. Multi-objective evolutionary federated learning. IEEE Trans Neural Netw Learn Syst 2020;31(4):1310‒22. . 10.1109/tnnls.2019.2919699
[163]

Liang X, Liu Y, Luo J, He Y, Chen T, Yang Q. Self-supervised cross-silo federated neural architecture search. 2021. arXiv:
[164]

Lyu L, Yu J, Nandakumar K, Li Y, Ma X, Jin J, et al. Towards fair and privacy-preserving federated deep models. IEEE Trans Parallel Distrib Syst 2020;31(11):2524‒41. . 10.1109/tpds.2020.2996273
[165]

Shi Y, Yu H, Leung C. A survey of fairness-aware federated learning. 2021. arXiv:
[166]

Zhou P, Fang P, Hui P. Loss tolerant federated learning. 2021. arXiv:
[167]

Chouldechova A, Roth A. The frontiers of fairness in machine learning. 2018. arXiv:
[168]

Mehrabi N, Morstatter F, Saxena N, Lerman K, Galstyan A. A survey on bias and fairness in machine learning. ACM Comput Surv 2021;54(6):1‒35. . 10.1145/3457607
[169]

Yue X, Nouiehed M, Kontar RA. GIFAIR-FL: an approach for group and individual fairness in federated learning. 2021. arXiv:
[170]

Cong M, Yu H, Weng X, Yiu SM. A game-theoretic framework for incentive mechanism design in federated learning. In: Yang Q, Fan L, Yu H, editors. Federated learning: privacy and incentive. Cham: Springer; 2020. . 10.1007/978-3-030-63076-8_15
[171]

Zhang Q, Liu J, Zhang Z, Wen J, Mao B, Yao X. Fairer machine learning through multi-objective evolutionary learning. In: Proceedings of the 30th International Conference on Artificial Neural Networks; 2021 Sep 14‒17; Bratislava, Slovakia; 2021. p. 111‒23. . 10.1007/978-3-030-86380-7_10
[172]

Speicher T, Heidari H, Grgic-Hlaca N, Gummadi KP, Singla A, Weller A, et al. A unified approach to quantifying algorithmic unfairness: Measuring individual & group unfairness via inequality indices. In: Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining; 2018 Aug 19‒23; New York City, NY, USA; 2018. p. 2239‒48. . 10.1145/3219819.3220046
[173]

Chouldechova A. Fair prediction with disparate impact: a study of bias in recidivism prediction instruments. Big Data 2017;5(2):153‒63. . 10.1089/big.2016.0047
[174]

Yu G, Ma L, Du W, Du W, Jin Y. Towards fairness-aware multi-objective optimization. 2022. arXiv:
[175]

Mushtaq E, He C, Ding J, Avestimehr S. Spider: searching personalized neural architecture for federated learning. 2021. arXiv:
[176]

He C, Annavaram M, Avestimehr S. FedNAS: federated deep learning via neural architecture search. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition; 2020 Jun 13‒19; Seattle, WA, USA. 2020.
[177]

Garg A, Saha AK, Dutta D. Direct federated neural architecture search. 2020. arXiv:
[178]

Xu M, Zhao Y, Bian K, Huang G, Mei Q, Liu X. Federated neural architecture search. 2020. arXiv:
[179]

Zhang C, Yuan X, Zhang Q, Zhu G, Cheng L, Zhang N. Toward tailored models on private AIoT devices: federated direct neural architecture search. IEEE Internet Things J 2022;9(18):17309‒22. . 10.1109/jiot.2022.3154605
[180]

Pan Z, Hu L, Tang W, Li J, He Y, Liu Z. Privacy-preserving multi‒granular federated neural architecture search a general framework. IEEE Trans Knowl Data Eng 2023;35:2975‒86.
[181]

Cho H, Mathur A, Kawsar F. FLAME: federated learning across multi-device environments. Proc ACM Interact Mob Wearable Ubiquitous Technol 2022;6(3):107. . 10.1145/3550289
[182]

Singh I, Zhou H, Yang K, Ding M, Lin B, Xie P. Differentially-private federated neural architecture search. 2020. arXiv:
[183]

Zhu H, Jin Y. Real-time federated evolutionary neural architecture search. IEEE Trans Evol Comput 2022;26(2):364‒78. . 10.1109/tevc.2021.3099448
[184]

Wang C, Chen B, Li G, Wang H. FL-AGCNS: federated learning framework for automatic graph convolutional network search. 2021. arXiv:
[185]

Gratton C, Venkategowda NK, Arablouei R, Werner S. Privacy-preserving distributed zeroth-order optimization. 2020. arXiv:10.23919/eusipco47968.2020.9287441
[186]

Swersky K, Snoek J, Adams RP. Multi-task Bayesian optimization. In: Proceedings of the 26th International Conference on Neural Information Processing Systems; 2013 Dec 5‒10; New York City, NY, USA; 2013.
[187]

Lin X, Zhen HL, Li Z, Zhang QF, Kwong S. Pareto multi-task learning. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems; 2019 Dec 8‒14; Vancouver, BC, Canada; 2019. . 10.1109/icip.2019.8803394
[188]

Smith V, Chiang CK, Sanjabi M, Talwalkar AS. Federated multi-task learning. In: Proceedings of the 30th International Conference on Neural Information Processing Systems; 2017 Dec 4‒9; Long Beach, CA, USA; 2017.
[189]

Zhu L, Deb K, Kulkarni S. Multi-scenario optimization using multi-criterion methods: a case study on byzantine agreement problem. In: Proceedings of IEEE Congress on Evolutionary Computation; 2014 Jul 6‒11; Beijing, China; 2014. p. 2601‒8. . 10.1109/cec.2014.6900637
[190]

Deb K, Zhu L, Kulkarni S. Multi-scenario, multi-objective optimization using evolutionary algorithms: initial results. In: Proceedings of IEEE Congress on Evolutionary Computation; 2015 May 25‒28; Sendai, Japan; 2015. p. 1877‒84. . 10.1109/cec.2015.7257115
[191]

Hua Y, Liu Q, Hao K, Jin Y. A survey of evolutionary algorithms for multi-objective optimization problems with irregular Pareto fronts. IEEE/CAA J Autom Sin 2021;8(2):303‒18. . 10.1109/jas.2021.1003817
[192]

Wei FF, Chen WN, Li Q, Jeon SW, Zhang J. Distributed and expensive evolutionary constrained optimization with on-demand evaluation. IEEE Trans Evol Comput 2023;27(3):671‒85. . 10.1109/tevc.2022.3177936
[193]

Li Q, Heusdens R, Christensen MG. Convex optimisation-based privacy-preserving distributed average consensus in wireless sensor networks. In: Proceedings of the 45th International Conference on Acoustics, Speech, and Signal Processing; 2020 May 4‒8; online; 2020. p. 5895‒9. . 10.1109/icassp40776.2020.9053348
[194]

Li Q, Heusdens R, Christensen MG. Communication efficient privacy-preserving distributed optimization using adaptive differential quantization. Signal Process 2022;194:108456. . 10.1016/j.sigpro.2022.108456
[195]

Zhu H, Wang R, Jin Y, Liang K, Ning J. Distributed additive encryption and quantization for privacy preserving federated deep learning. Neurocomputing 2021;463:309‒27. . 10.1016/j.neucom.2021.08.062
[196]

Alvi AS, Ru B, Calliess J, Roberts SJ, Osborne MA. Asynchronous batch Bayesian optimisation with improved local penalization. 2019. arXiv:
[197]

Garcia-Barcos J, Martinez-Cantin R. Fully distributed Bayesian optimization with stochastic policies. 2019. arXiv:10.24963/ijcai.2019/327
PDF (2073KB)

17631

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉