《1. 引言》

1. 引言

《1.1. 动机》

1.1. 动机

由于数据流量的显著增长,机器学习已经获得了大量的关注,并有望在第六代(6G)无线网络的发展中发挥至关重要的作用[1]。集中式机器学习方法需要在集中式参数服务器上收集训练样本。因此,传输大量数据样本会导致严重的传输延时。并且,标准的集中式机器学习方法无法保证用户隐私性。然而,低延时和隐私要求在许多新兴应用中很重要,如无人驾驶飞行器、虚拟现实服务和自动驾驶。因此,使用集中式机器学习方法来优化这些新兴应用是不合适的。同时,由于通信资源有限,所有边缘设备通常无法将其数据上传到参数服务器,以进行集中式机器学习。

基于以上这些原因,需要引入分布式学习算法,使设备能够通过本地训练,协同构建统一的学习模型。联邦学习是一种最有前景的分布式学习网络架构[2-19]。在联邦学习中,边缘设备仅通过将本地学习模型传输到基站来协作构建学习模型[20],同时保留本地训练数据,如图1 所示。值得注意的是,联邦学习也可以在没有参数服务器的情况下执行,其中每个设备都可以与相邻设备进行通信 [21]。由于数据中心无法以用户级别来访问本地数据集,因此联邦学习可以提高用户的数据隐私。

《图 1》

《图 1》

《图 1》

图 1 无线通信网络上的联邦学习。

在无线通信网络中,实施联邦学习具有如下的优点[15,22]:①交换本地机器学习模型参数而不是大量的训练数据,可以节省能源,消耗更少的无线资源;②在本地训练机器学习模型参数,可以有效降低传输延时;③联邦学习有助于提高数据隐私,因为训练数据保留在最终用户设备上,并且只上传本地学习模型参数; ④使用不同的学习过程,从边缘数据集中训练多个分类器,增加了获得更高学习性能的可能性。

联邦学习可用于解决各种用例中的复杂凸和非凸问题,如干扰消除、网络控制、资源分配和用户分组。此外,联邦学习使用户能够合作学习统一的预测模型,同时将收集到的数据存储在他们的设备上,用于无线环境分析、用户运动预测和用户识别。基于预测结果,基站可以有效地为设备分配无线资源。

《1.2. 联邦学习的类别》

1.2. 联邦学习的类别

常见的联邦学习类型如下:联邦强化学习(FRL)、联邦监督学习(FSL)、用于生成对抗网络(GAN)的联邦学习(无监督学习)和用于对比学习的联邦学习(自监督学习)。在参考文献[23-24]中,FRL的目标是使无线设备能够记住它们和其他无线设备所学的内容。FRL可用于多个无线设备在不同环境中做出决策的情况。在 FRL中,每个无线设备在其他无线设备的帮助下构建一个学习网络。

(1)最初,一个边缘设备在自己的环境中通过强化学习(RL)获得其私有模型。边缘设备将其私有模型作为共享模型上传到基站。

(2)然后,无线设备从基站下载公共共享策略模型作为强化学习的初始模型。无线设备在新环境中通过联邦学习获得自己的私有学习网络。训练完成后,无线设备将其私有学习网络上传到基站。

(3)在基站,将私有学习网络整合到共享模型中,从而产生一个新的共享模型。任何其他无线设备都将使用新的共享模型。无线设备还将私有学习网络传输到数据中心以计算共享模型。

FSL技术通过迭代更新基站和无线设备之间的信息来构建统一的学习模型,其中本地私有数据被完全标记。在FSL中,设备可以通过局部学习模型参数记住它们所学的内容,而局部学习模型是在其他设备的帮助下通过全局模型聚合构建的。FSL方案的每次迭代包含三个过程:无线设备的本地计算、每个无线设备的本地FSL模型参数传输,以及基站的全局模型生成和广播。

• 每个无线设备都需要在本地使用其完全标记的数据集来计算结果。

• 所有无线设备通过上行链路中的无线信道将本地预测结果传输到中心。

• 基站获得预测模型参数,并将统一的预测学习模型系数传输到所有无线设备。

《1.3. 相关的综述和本文的贡献》

1.3. 相关的综述和本文的贡献

目前已有一些关于联邦学习的综述,如参考文献 [25-30]。参考文献[25]讨论了联邦学习的独特特征和挑战,提供了对当前方法的总结,并概述了未来研究的多个方向。参考文献[26] 介绍了联邦学习的实施挑战并回顾了当前应对这些挑战的方法。在参考文献[27]中,作者描述了在边缘计算机网络上配置机器学习系统的挑战。对于强化学习,参考文献[28]提出将深度强化学习技术和联邦学习方案与新兴边缘系统相结合,以统一优化无线通信、边缘计算和缓存资源。参考文献[29]探讨了边缘机器学习的关键参数和用于无线通信的各种无线架构拆分。参考文献[30]调查了联邦学习的实际应用,包括应用程序、使用场景和硬件平台。表1 [25-30]给出了一些关于无线通信中联邦学习研究的概述。

《表1》

表1 将联邦学习应用于无线通信相关综述

SubjectContributionsReference
FLIntroductory tutorial on characteristics and challenges of FL[25]
FLChallenges of FL implementation[26]

Edge machine

learning

Challenges of machine learning systems at the edge networks[27]
FLFL and RL for optimizing mobile edge computing and caching[28]

Edge machine

learning

Edge machine learning architectures[29]
FLFL applications and use-cases[30]

本研究的目标是收集那些能突出将联邦学习技术应用于无线网络的关键挑战的贡献。特别是,以下三个目标:提供联邦学习算法的全面描述;确定无线通信系统中可以使用联邦学习方法解决的关键问题;指出无线通信中新兴的联邦学习应用。

《2. 联邦学习的性能和要求》

2. 联邦学习的性能和要求

《2.1. 性能指标》

2.1. 性能指标

图2给出了在无线通信网络中实现联邦学习的过程。联邦学习方案在每个步骤中包含三个过程:每个设备的局部迭代(具有多个本地时间)、本地计算的联邦学习模型参数的上传,以及中心的全局模型聚合和重播。本地迭代过程意味着每个设备通过使用其本地数据和接收到的全局联邦学习参数来计算其本地联邦学习参数。联邦学习有四个主要的性能指标:延时、能量、可靠性和大规模连接。

《图 2》

《图 2》

《图 2》

图 2 在无线通信网络中联邦学习的步骤。

(1)延时。根据图3,联邦学习的延时包括边缘设备的本地迭代延时、上行通信延时、基站聚合延时和下行传输延时。联邦学习的延时还取决于联邦学习收敛所需的迭代次数[31]。考虑到本地计算延时和通信延时之间的权衡,通过联合传输和计算优化来最小化延时对于实现联邦学习至关重要。

《图 3》

《图 3》

《图 3》

图 3 联邦学习网络的时间分配,其中K表示设备的总个数。

(2)能量。因为每个无线设备的总能量是有限的,传输能量和本地计算能量都会影响联邦学习过程。设备的本地计算能量取决于该设备本地计算过程所需的迭代次数,而传输能量与联邦学习实现期间的迭代次数有关。

(3)可靠性。终端用户设备必须通过无线链路将其训练参数传输到聚合设备,由于有限的无线资源(如带宽)和无线链路固有的不可靠性,可能会引入训练错误。特别是,由无线信道的不可靠特性和有限资源引起的符号错误会影响联邦学习迭代的性能和成功率[32-33]。联邦学习算法的整体性能和收敛速度受这些因素的影响。

(4)大规模接入。为了满足联邦学习的低延时要求,必须使用无线通信高效、快速地从众多边缘设备获取数据。然而,由于设备数量众多,传统的干扰避免信道接入方案通常会导致过多的延时,因此不可行。为了克服这一挑战,一种新兴的方法是空中计算,它可以利用无线传输的叠加特性快速收集无线数据[34-35]。尽管空中计算具有一些吸引人的优势,但它与现有的数字无线通信系统不兼容。此外,在每轮联邦学习上传中仅调度所有设备的一小部分是一个很有前途的替代方案 [36-37]。

《2.2. 满足6G要求的潜力》

2.2. 满足6G要求的潜力

预计到2030年,6G网络将需要容纳1250亿个无线设备。因此,设计智能信号和数据处理系统以实现边缘学习至关重要。作为一项关键技术,联邦学习有可能满足以下预期的6G要求[1]。

(1)大规模超可靠低延时通信(mURLLC)。由于6G无线终端用户设备数量的预期增长,第五代 (5G)超可靠低延时通信(URLLC)指标必须更新为mURLLC。联邦学习可以使用多个边缘计算单元协作学习共享网络模型,进而减少服务延时并提供高可靠性[38-39]。

(2)可扩展架构。与集中式智能不同,边缘智能(如联邦学习)是以分布式方式构建的,其中包括许多具有计算和通信能力的边缘服务器。为了在未来的6G通信中为大量最终用户设备提供服务,提供可分解和可扩展的架构以允许在多个边缘服务器之间同时进行计算非常重要。这种架构有望在新兴的无线通信服务和应用中发挥重要作用。

(3)以人为本的服务。与5G中的速率-可靠性-延时指标不同,6G预计将涉及以人为中心的服务,这将对与用户的物理运动相关的体验质量水平提出要求。联邦学习可以用来预测用户的动作和手势,基站可以利用预测结果来提高用户体验的质量。

《3. 用于无线通信的联邦学习——应用背后的动机》

3. 用于无线通信的联邦学习——应用背后的动机

机器学习方法可以使用数据分析来估计无线网络的状态,并在线查找优化变量和目标函数之间的联系,从而降低解决无线系统中非凸优化问题的计算复杂度。此外,机器学习很强大,它可以优化没有具体表达式的数学问题。然而,鉴于多小区网络需要全局信道状态信息(CSI),集中式学习算法可能需要基站不断地将其获得的数据上传到集中处理服务器,这会导致高网络开销和显著延时。因此,使用集中式学习算法进行资源管理或网络控制可能需要多次迭代才能收敛。因此,传统的集中式训练机器学习算法可能无法处理未来 6G 网络中的资源分配、信号检测和用户行为预测问题。作为一种更实用的替代方案,联邦学习可以使用户或基站以分布式方式管理资源并本地分析收集的数据。第3.1节报告了驱动联邦学习应用,解决无线问题的总结;第 3.2~3.5节描述了四种应用类型,其中联邦学习可用于解决各种无线网络问题。

《3.1. 驱动联邦学习应用解决无线问题》

3.1. 驱动联邦学习应用解决无线问题

(1)资源管理。多小区网络的频谱效率和连通性优化通常会导致非凸资源分配问题。传统的算法,如匹配理论可以用来解决这种非凸的资源分配问题。但是复杂度很高。因此,需要引入新的联邦学习算法来解决各种资源管理问题,如多小区网络的分布式功率控制、联合用户关联和波束成形设计,以及动态用户聚类。

图4所示,对于多小区功率控制,FRL使每个基站能够确定功率控制方案和效用值之间的连接,以找到全局最优的资源分配方案。在FRL中,连接网络上的基站,通过最小化小的优化问题在本地处理数据,并在其邻居之间交换本地结果以得出全局解决方案。

《图 4》

《图 4》

《图 4》

图 4 多小区功率控制方案,其中M是用户总数,N是基站总数。

此外,FRL 可用于动态用户聚类,终端用户通过强化学习单独学习聚类参数,基站根据从所有终端用户接收到的聚类参数构建统一的聚类参数。

(2)用户行为预测。由于用户对服务质量的各种要求,用户行为预测对于优化无线网络性能至关重要。

用户行为,如移动模式可以使用联邦学习进行预测,其中每个用户执行本地联邦学习算法,使用私有用户行为数据计算其本地模型,并将获得的模型上传到中心。然后该中心生成并向所有用户广播聚合的联邦学习参数系数。根据移动性预测,在上行链路中,用户可以动态选择子信道,占用同一子信道的用户可以执行非正交多址接入(NOMA)或全双工上传他们的模型。相反,在下行链路中,基站可以为多个用户动态分配多个子信道。

用户的服务质量可以使用联邦学习进行预测,其中每个基站根据存储的请求数据、设备类型等信息使用联邦学习算法,所有基站将联邦学习模型结果发送到服务器以获得统一的联邦学习模型。

(3)信道估计和信号检测。由于无线通信网络中无线信道的随机特性,信道估计和信号检测是主要挑战。对于下行系统,联邦学习算法用于信道估计和多用户检测,每个用户执行一个联邦学习方案进行信道估计和信号检测,并将从本地获得的联邦学习参数发送到计算统一联邦学习模型的中心。通过联邦学习进行信道检测,每个用户可以执行相同的信道检测任务;例如,从基站获取CSI到无源中继。训练收敛时间尺度和所需的数据集数量适合在相干持续时间内进行拟合,因为只需要预测一个公共信道。对于多小区上行链路系统,可以通过从所有基站向服务器迭代传输单个联邦学习模型参数,并将统一的联邦学习模型参数从服务器广播回所有基站来检测多用户信号。此外,联邦学习算法可用于自动设计用户的码本和解码策略,以最大限度地降低误码率,用户将学习结果上传到相应的基站,基站将他们统一的学习结果转发到服务器。

《3.2. 智能反射面》

3.2. 智能反射面

智能反射面(RIS)的无线通信系统被认为是提高通信网络能效的潜在技术[40-51],如图5所示。RIS主要由众多高效硬件组件组成,可以改变输入信号的相位。在基于RIS的无线通信系统中,RIS通常由基站通过基站和RIS之间的回程链路来管理,以确定入射波的特性。因此,可以使用RIS针对各种设计目标控制无线环境。RIS充当镜子,不需要任何数字操作。因此,如果部署得当,与现有的放大转发(AF)继电器相比,RIS有望降低能耗[52-54]。然而,由于对RIS系数矩阵相位的独特约束,联合优化基站处的主动波束形成和 RIS 处的无源相位波束形成是具有挑战性的。为了处理复杂多变的电磁(EM)环境和通信系统中难以用数学方法解决的非线性问题,可以使用联邦学习算法作为一种实用的替代方案。

《图5》

《图5》

《图5》

图5 RIS辅助的无线通信例子。

(1)CSI检测。 在基于RIS的系统中,要充分发挥架构的优势,需要节能设计、资源分配、主被动联合波束成形等多种高效技术。请注意,上述所有设计都依赖于对 RIS和基站之间以及用户和RIS之间的CSI的完全了解。然而,当RIS不是建立在射频(RF)链或传感器上时,RIS增强系统无法准确估计CSI。为此,在RIS辅助无线通信中使用联邦学习进行CSI检测是有意义的。

基于联邦学习的模型训练方法可用于 RIS 辅助的大规模多输入多输出(MIMO)系统[55]。联邦学习方法主要包括三个步骤:数据收集、样本训练和任务预测。第一步,每个用户收集其本地训练数据集,其中导频序列是输入,接收到的信号是输出。然后,每个用户利用自己的本地数据样本计算更新的模型,基站在收到所有用户的更新的模型后生成一个全局模型。在最后一步,每个用户通过将接收到的导频数据输入到训练模型中来估计自己的信道。

(2)分布式联合无源和有源波束成形。在RIS辅助无线通信系统中,可以控制RIS中每个元素的相位,以提高RIS辅助无线通信系统的性能。与传统通信相比,重要的是优化无源波束成形(RIS处的相移矩阵)和有源波束成形(多天线发射器处的波束成形)[56-57]。深度学习已被应用于解决复杂的联合被动和主动波束成形,以优化RIS组件的反射矩阵[58]。在实践中,可以利用多个RIS来克服用户和基站之间严重的信号拥塞,从而实现更好的服务覆盖,这类似于多跳中继系统。参考文献中提出了一种多跳 RIS 辅助通信方案[59],用于处理太赫兹频带中覆盖范围的增加和严重的路径损耗,其中通过先进的联邦学习获得了相移矩阵和基站处发射波束成形的混合优化。由于使用集中式强化学习的复杂性很高,FRL可用于解决联合被动和主动波束成形问题,其中所有用户可以单独优化其相移矩阵并通过强化学习传输波束成形,基站将统一学习模型传回给所有用户。

(3)相移预测。由于无线通信信道的随机性,RIS相移矩阵必须随着无线信道的变化而确定。通过利用信道衰落的时间相关特性,可以通过联邦学习预测RIS的相移矩阵。为了预测相移,每个用户使用长短期记忆(LSTM)网络来预测未来的CSI和使用本地数据集的相移矩阵,而基站聚合从所有用户接收到的结果。

《3.3. 语义通信》

3.3. 语义通信

语义通信类似于发生在人脑中的通信,其中传输符号的含义与恢复符号的含义之间的差异是相关的[60]。 当系统带宽有限或某些典型通信系统的误码率较高时,这种相关性对于联合编码和解码很有用。

(1)信道编码器和解码器设计。使用语义通信技术使设备能够向服务器传输语义信息,而不是传统的比特或符号,可以有效地提高网络带宽利用率。然而,语义通信模型需要来自多个分布式设备的训练数据,这会导致数据传输的通信成本非常高。为了解决这个问题,可以使用基于联邦学习的支持深度学习的语义通信来进行信道编码器和解码器的设计。首先,深度学习模型可用于从文本或音频中提取语义信息,并对噪声具有鲁棒性。然后,在联邦学习方法中,终端用户设备和服务器获得实用的深度学习模型,服务器聚合本地训练的模型并将统一模型发送回设备。

(2)物联网的分布式语义通信。新兴技术,如智能连接、物联网和机器对机器(M2M)网络,需要不同端之间的智能通信,如人和机器。对于这些应用程序,智能通信依赖于背景和界面语言模型[61]。此外,物联网网络中始终存在众多设备。这些因素推动了使用联邦学习为物联网网络设计分布式语义通信。使用联邦学习的分布式语义通信包括三个步骤:第一步,中心使用深度学习计算语义通信模型;第二步,中心将训练好的深度学习模型传输到每个设备;第三步,每个用户通过接收到的广播信息获取语义特征,然后,每个用户将语义特征上传给基站,基站据此计算语义通信模型。

《3.4. 扩展现实》

3.4. 扩展现实

扩展现实(XR)是指真实和虚拟环境中的所有计算机生成图形,包括混合现实(MR)、增强现实(AR)和虚拟现实(VR)。在无线通信网络上部署XR是实现XR应用的必要步骤[1]。由于无缝和沉浸式的要求,引入能够满足严格的服务质量要求的无线通信技术非常重要,如高数据速率和超低延时。对于无线通信中的XR分配,需要将位置和方向信息发送到基站,基站根据接收到的信息为用户构建 360°图像。

(1)用户运动预测。在无线XR网络中,用户身体运动会严重影响无线资源分配和网络管理[62]。联邦学习可以有效地预测用户的运动和动作,用于应对用户的动作挑战。基于预测的运动和动作,基站可以改进生成的 XR 图像并优化XR用户的无线资源分配。

(2)资源分配。联邦学习可用于设计自组织方案,以解决XR网络的动态资源管理问题[63]。具体来说,联邦学习可用于动态优化无线资源,并基于无线环境构建XR图像结构。

《3.5. 非正交多址接入》

3.5. 非正交多址接入

NOMA被设想为下一代无线通信网络的一种有前途的技术[64]。通过在同一时间和频率资源上服务多个用户,与替代的正交多址(OMA)技术相比,NOMA可以扩大连接用户的数量,提高用户公平性,提高频谱效率。最近,大量的研究工作集中在NOMA实现的各种挑战上[65-67],包括建模、性能分析、信号处理和新兴的NOMA应用,如异构网络(HetNets)、认知无线电网络和毫米波(mmWave)通信。NOMA的非正交资源分配特性需要引入新的模型和算法来解决若干挑战,包括用于设计可扩展多小区NOMA设计的联合用户聚类和资源分配、用于大规模NOMA网络的高级信道估计和信号检测,以及基于NOMA的移动网络中的动态用户行为预测。

由于资源分配的非正交性,NOMA网络中总是存在小区内干扰,这通常会导致非凸的资源分配问题。用于解决优化NOMA网络性能的非凸问题的传统优化方法大多是离线操作,计算复杂度极高,并且依赖于精确的CSI [68-71]。大数据分析可用于估计无线网络的状态,并通过机器学习方案[72-75]在线查找优化变量与目标函数之间的关系,从而最大限度地减少解决NOMA中非凸问题的计算复杂度。然而,鉴于多小区NOMA需要全局CSI,集中式学习算法可能需要基站不断地将其获得的数据上传到集中处理服务器,这会导致高网络开销和显著延时。此外,在NOMA中,每个子载波可以被多个用户占用。因此,使用集中式学习算法进行资源管理或网络控制可能需要多次迭代才能收敛。因此,参考文献中描述的传统中央机器学习方法[76-79]无法处理NOMA中的资源分配、信号检测和用户行为预测问题。对于NOMA,联邦学习有两个重要应用:① FRL 可以解决的复杂凸和非凸优化问题,包括资源分配、干扰抑制、用户分组和网络控制;② FSL可以使边缘用户协同获得统一的学习参数,同时保护他们在设备上获得的数据以进行CSI预测和用户检测。

(1)NOMA中的资源管理。通过发射机的叠加编码技术和接收机的连续干扰消除(SIC),与OMA [80-81]相比,NOMA可以产生更高的频谱效率。此外,NOMA可以利用用户在电力域的差异,为连接到同一资源的多个用户提供服务。NOMA的电源域特性可以帮助支持海量的NOMA连接并满足一系列优质服务。

NOMA的频谱效率和连通性优化通常会导致非凸资源分配问题,这些问题需通过使用传统算法进行优化[65]。因此,需要引入可用于解决许多资源管理挑战的新分布式学习技术,如多小区NOMA的分布式功率控制[70]、联合用户关联和波束成形设计[67],以及动态用户聚类[82]。对于多小区功率控制,FRL使每个基站能够在功率控制方案和效用函数之间建立连接,以找到最佳功率控制方案。FRL还可用于研究多天线NOMA网络的用户关联和波束形成[83]。此外,FRL用于NOMA中的动态用户聚类,用户通过强化学习单独学习聚类参数,基站根据从所有用户接收到的聚类参数构建统一的聚类参数。

(2)NOMA中的信号检测和信道估计。由于NOMA网络的SIC中的错误传播,NOMA中的信号检测和信道估计是主要挑战。FSL算法可用于下行NOMA网络中的信道估计和多用户检测,其中每个用户执行监督学习(SL)算法以进行多用户的信号检测和信道估计,并将其本地联邦学习模型系数发送给将生成全局联邦学习模型的基站。如参考文献[84]所述,FSL可以通过将所有基站的单独学习模型参数迭代传输到服务器,并将统一的学习模型参数从服务器广播回所有基站,来检测多小区上行链路NOMA网络中的多用户信号。此外,FSL可用于自动设计码域NOMA网络中基站的码本和用户的解码策略,以最小化误码率[85];其中用户将学习结果上传到相应的基站,后者将他们的学习结果统一到服务器。

(3)NOMA中的用户行为预测。由于NOMA中用户的服务质量需求异构,同一组内的设备可能具有不同的信道值和服务质量要求,因此用户行为预测对于NOMA网络的实施至关重要。为了预测某些用户行为,如移动信息,FSL方案中的每个用户执行SL算法来训练学习模型,利用自己的用户行为数据,并将获得的本地模型通过NOMA上传到基站。然后,基站使用NOMA生成统一的学习模型系数,并向所有用户广播。基于移动性模式预测,用户可以在上行链路选择子信道上传数据,基站在下行链路为多个用户分配多个子信道,占用同一子信道的多个用户可以进行NOMA。对于预测 FSL中用户的服务质量的多个基站[86],每个基站使用基于其存储的数据集和设备类型的SL算法。所有基站将学习模型结果通过NOMA传输到服务器以获得统一的联邦学习模型。

《4. 研究方向和开放性问题》

4. 研究方向和开放性问题

《4.1. 研究方向和挑战》

4.1. 研究方向和挑战

联邦学习确保资源分配或行为预测问题可通过分布式方式解决无线网络。联邦学习在无线网络中的应用有以下五个主要方向和挑战:

(1)可扩展性。联邦学习应该是可扩展的,因为增加的计算机或处理器数量可能会抵消增加的数据量,并为大规模学习网络中的复杂性和内存问题提供解决方案。对于大规模的学习网络,研究与分布式训练相关的问题很重要。

(2)隐私和安全。在联邦学习中,可以保护每个用户的原始数据集,因为只有本地获得的联邦学习模型需传输到中心。然而,窃听者也有可能对原始数据进行近似重建,特别是当局部和全局模型系数无法得到保护时[87]。此外,本地联邦学习模型可能会泄露隐私信息。在联邦学习中,隐私可以分为两种类型:全局和局部。每次迭代的模型生成对除了全局隐私中的基站之外的所有未知设备都是不可见的,并且每次迭代中的模型聚合对所有未知第三方和本地隐私中的基站都是保密的。

(3)异步通信。联邦学习涉及无线设备和基站之间的信息交换。同步通信方法很简单,但它们会在设备之间引入落后者。在异构环境中缓解落后者的一种有吸引力的方法是异步解决方案。尽管分布式数据中心中的异步服务器参数在处理落后者方面是成功的,但有界延时的假设在联合方案中可能是不切实际的。

(4)非独立同分布(Non-IID)设备。当从跨设备的不同分布数据训练联合模型时,在数据建模和分析相关训练过程的收敛趋势方面都会出现挑战[88]。联邦学习的一个关键方面是应对异构设置以及竞争和分布式决策环境。

(5)联合通信和计算设计。为了在无线通信网络中部署联邦学习,每个设备都需要通过不可靠的无线链路传输其多媒体数据或本地训练结果。重要的是要考虑实际场景中的多小区和多跳联邦学习实现[89]。此外,有限的无线电资源会降低联邦学习的学习方案的性能。因此,重要的是要考虑通信和计算资源的联合管理以实现高效和有效的联邦学习。

《4.2. 开放问题和未来趋势》

4.2. 开放问题和未来趋势

本节基于上述问题提出了几个未解决的问题,以揭示未来的研究方向。尽管联邦学习已经被广泛研究,但关于无线通信和联邦学习仍有几个关键问题需要研究。

(1)收敛性。由于通信网络中的无线资源有限,在每个学习步骤中只能激活一小部分用户,将其本地模型参数上传到中心。然而,由于不同用户的训练数据样本的多样性,中心希望将所有用户的局部联邦学习模型都纳入其中,以确定最佳的整体全局联邦学习模型。因此,用户上传调度是一个关键问题,会影响联邦学习性能和收敛时间。许多关于联邦学习收敛的研究都是基于凸损失函数的假设[90-91]。然而,许多学习问题的损失函数是非凸的,并且在研究具有非凸损失函数的联邦学习的收敛速度方面存在挑战[92]。此外,即使是凸损失,联邦学习的收敛速度也仍然存在一些关键问题。例如,为了与真实的联邦学习实验数据保持一致,需要一种具有更少假设和近似值的精确/更准确的收敛公式[90]。虽然在这方面有一些研究,但大部分都是基于凸损失函数的。此外,由于服务质量的异构特性,有必要同时进行多任务联邦学习。另外,对于大型系统,应考虑多小区和多跳联邦学习,这两者都需要对联邦学习收敛性分析有更深入的了解。因此,一个特殊的挑战是研究用于联邦学习融合的无线设备的移动性。由于这种移动性,设备和基站之间的信道增益是动态变化的;因此,有可能某些设备会因为严重的CSI而退出联邦学习过程,从而影响整个联邦学习过程的收敛性。

(2)隐私和安全。联邦学习中存在许多与隐私和安全相关的未解决问题:每个用户的隐私保护、基站的隐私保护,以及整个联邦学习算法的安全性。关于每个用户和基站的隐私保护,一种有前途的方法是使用差分隐私,引入隐私和联邦学习性能之间的权衡[93]。为保证整个联邦学习算法的安全性,可以考虑加密等传统方法,以及安全多方计算和物理层安全等较新的发展,以此在无法应用更传统方法的情况下可以在场景(如大规模部署的物联网)中提供安全性。

(3)性能评估。主要挑战之一是研究通信带宽对联邦学习延时性能的影响。虽然手机的计算资源越来越强大,但无线通信的带宽并没有显著增加。因此,瓶颈已从计算转移到通信能力。因此,有限的通信带宽可能会导致较长的通信延时,从而导致联邦学习的收敛时间较长。因此,通信高效的联邦学习是当前和未来研究的一个重要领域[94-96]。

(4)联邦学习用于新兴技术。联邦学习和新兴技术之间的相互作用带来了新的挑战。例如,太赫兹频带中非常高的传播衰减会影响收敛分析。此外,在卫星通信中,联邦学习可用于优化卫星的波束和位置[97-99]。 另一个例子是在量子通信中,需要使用联邦学习来优化量子密钥分发的参数(如基本概率)。

《5. 结论》

5. 结论

本文考虑了联邦学习在无线通信中的应用;介绍了联邦学习的两个主要分类,即FRL和FSL。此外,还讨论了将联邦学习用于无线通信应用的动机。本文确定了在实际无线通信环境中使用联邦学习所面临的挑战及一些应对技术。因此,希望本研究将为基于联邦学习的无线网络的操作、设计和优化提供有用的见解。