计算机科学与探索

作者：陈洋, 王士同

单位：1. 江南大学 人工智能与计算机学院，江苏 无锡 214122；2. 江南大学 江苏省媒体设计与软件技术重点实验室，江苏 无锡 214122

关键词：极限学习机（ELM）,集成学习,多样性,正则化极限学习机（RELM）

基金：江苏省自然科学基金(BK20191331)

极限学习机（ELM）是一种单隐层前向网络的训练算法，随机确定输入层权值和隐含层偏置，通过分析的方法确定输出层的权值，ELM克服了基于梯度的学习算法的很多不足，如局部极小、不合适的学习速率、学习速度慢等，却不可避免地造成了过拟合的隐患且稳定性较差，特别是对于规模较大的数据集。针对上述问题，提出多样性正则化极限学习机（DRELM）的集成方法。首先，从改变隐层节点参数的分布来为每个ELM随机选取输入权重，采用LOO交叉验证方法和 M S E P R E S S方法来寻找每个基学习器的最优隐节点数，计算并输出最优隐含层输出权重，训练出较好且具有差异性的基学习器。然后，将有关多样性的新惩罚项显式添加到整个目标函数中，迭代更新每个基学习器的隐含层输出权重并输出结果。最后，集成所有基学习器的输出结果对其求平均值，得到整个网络模型最后的输出结果。该方法能够有效地实现多样性正则化极限学习机（RELM）的融合，兼顾准确率和多样性。在10个不同规模的UCI数据集上的实验结果表明所提出的方法是行之有效的。

来源：2022年第8期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2022年第8期