基于联邦边缘学习的梯度量化和带宽分配优化策略

2022年第23卷第8期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2022年第23卷第8期 doi: 10.1631/FITEE.2100538

基于联邦边缘学习的梯度量化和带宽分配优化策略

1北京大学电子学院区域光纤通信网与新型光通信系统国家重点实验室，中国北京市，100871；2中国信息通信研究院，中国北京市，100191；3深圳市大数据研究院，中国深圳市，518172；4浙江大学信息与电子工程学院，中国杭州市，310027；5浙江省信息处理与通信网络重点实验室，中国杭州市，310027

收稿日期： 2021-11-19 录用日期： 2022-08-22 发布日期： 2022-08-22

HTML153 PDF 28 收藏 0

摘要

由于边缘设备有限算力和边缘网络有限的无线资源，利用联邦边缘学习（federated edge learning, FEEL）训练机器学习模型通常非常耗时。本文研究了量化FEEL系统中训练时间最小化问题，其中异构边缘设备通过正交信道向边缘服务器发送量化后的梯度。采用随机量化对上传的梯度进行压缩，可减少每轮通信的开销，但可能会增加通信轮数。综合考虑通信时间、计算时间和通信轮数对训练时间进行建模。基于所提出的训练时间模型，描述了通信轮数和每轮延迟之间的内在权衡。具体地，分析了量化FEEL的收敛性。提出一种基于数据模型双驱动的拟合方法以得到精确的最优间隔，并在此基础上得到通信轮数和总训练时间的闭式表达式。在总带宽限制下，将训练时间最小化问题建模为量化级数和带宽分配的优化问题。本文通过交替求解量化优化子问题（通过连续凸近似方法求解）和带宽分配子问题（通过二分查找方法求解）解决这个问题。在不同学习任务和模型下，仿真结果证明了本文分析的有效性和所提优化算法性能接近最优。

关键词

联邦边缘学习 ; 量化优化 ; 带宽分配 ; 训练时间最小化