期刊首页 优先出版 当期阅读 过刊浏览 作者中心 关于期刊 English

《信息与电子工程前沿(英文)》 >> 2019年 第20卷 第11期 doi: 10.1631/FITEE.1800596

正则风险最小化的小批量割平面法

录用日期: 2019-12-10 发布日期: 2019-12-10

下一篇 上一篇

摘要

虽然最近求解非凸问题的研究十分热门,尤其在机器学习需要可解释性模型情况下,凸优化仍然重要。求解凸问题可得到全局最优解,故而最终模型可用数学方法解释。通常为防止过度拟合,凸问题被重新描述为一个正则风险最小化问题。无论目标函数是否可微,割平面法是求解凸问题最佳方法之一。然而,割平面法及其变体无法充分应对大规模密集型数据,因为这些算法每次迭代都需访问整个数据集,大大增加了计算负担和内存成本。为解决这一问题,提出一种新的小批量割平面法。该算法通过对小批量采样数据进行计算,得到估计切割平面用于迭代,使其能处理大规模数据。此外,小批量割平面法使用“sink”算子检测和调整噪声估计以保证收敛性。在大量实际数据集上的数值实验证明了小批量割平面法有效性,收敛速度优于正则风险最小化的bundle法和普遍使用的随机梯度下降法。

相关研究