计算机科学与探索

作者：郭振华, 闫瑞栋, 邱志勇, 赵雅倩, 李仁刚

单位：山东海量信息技术研究院，济南 250101

关键词：随机梯度下降,方差缩减,凸优化,非凸优化,收敛速率

基金：新一代人工智能国家科技重大专项（2021ZD0113001）。

随机梯度下降（SGD）算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而，SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差，使得算法的收敛曲线震荡甚至发散，导致其收敛速率缓慢。因此，有效减小方差成为当前关键挑战。提出了一种基于小批量随机采样的方差缩减优化算法（DM-SRG），并应用于求解凸优化及非凸优化问题。算法主要特征在于设计了内外双循环结构：外循环结构采用小批量随机样本计算梯度近似全梯度，以达到减少梯度计算开销的目的；内循环结构采用小批量随机样本计算梯度并代替单样本随机梯度，提升算法收敛稳定性。针对非凸目标函数与凸目标函数，理论分析证明了DM-SRG算法具有次线性收敛速率。此外，设计了基于计算单元性能评估模型的动态样本容量调整策略，以提高系统训练效率。为评估算法的有效性，分别在不同规模的真实数据集上开展了数值模拟实验。实验结果表明算法较对比算法损失函数减少18.1%并且平均耗时降低8.22%。

来源：2025年第3期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2025年第3期