基于梯度跟踪和分布式重球加速的分布式随机优化算法

2021年第22卷第11期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2021年第22卷第11期 doi: 10.1631/FITEE.2000615

基于梯度跟踪和分布式重球加速的分布式随机优化算法

1西南大学电子信息工程学院非线性电路与智能信息处理重庆市重点实验室，中国重庆市，400715；2贵州民族大学数据科学与信息工程学院，中国贵阳市，550025

收稿日期： 2020-11-08 录用日期： 2021-11-15 发布日期： 2021-11-15

HTML41 PDF 31 收藏 0

摘要

由于在机器学习和信号处理中的广泛应用，近年来分布式优化得到良好发展。本文致力于研究分布式优化以求解目标函数全局最小值。该目标是分布在个节点的无向网络上的平滑且强凸的局部成本函数总和。与已有工作不同的是，我们使用分布式重球项以提高算法的收敛性能。为使现有分布式随机一阶梯度算法的收敛加速，将动量项与梯度跟踪技术结合。仿真结果表明，在不增加复杂度的情况下，所提算法具有比GT-SAGA更高收敛速率。在真实数据集上的数值实验证明了该算法的有效性和正确性。

关键词

分布式优化 ; 高性能算法 ; 多智能体系统 ; 机器学习问题 ; 随机梯度