《信息与电子工程前沿(英文)》
>> 2023年
第24卷
第11期
doi:
10.1631/FITEE.2200515
一种基于高斯过程与粒子群算法的CNN超参数自动搜索混合模型优化算法
大连理工大学控制科学与工程学院,中国大连市,116024
收稿日期:
2022-10-27
录用日期:
2023-12-04
发布日期:
2023-12-04
下一篇
上一篇
摘要
卷积神经网络(CNN)在许多实际应用领域中有着快速发展。然而,CNN性能很大程度上取决于其超参数,而为CNN配置合适的超参数通常面临着以下3个挑战:(1)不同类型CNN超参数的混合变量编码问题;(2)评估候选模型的昂贵计算成本问题;(3)确保搜索过程中收敛速率和模型性能问题。针对上述问题,提出一种基于高斯过程(GP)和粒子群优化算法(PSO)的混合模型优化算法(GPPSO),用于自动搜索最优的CNN超参数配置。首先,设计一种新的编码方法高效编码CNN中不同类型的超参数。其次,提出一种混合代理辅助(HSA)模型降低评估候选模型的高计算成本。最后,设计一种新的激活函数改善模型性能并确保收敛速率。在图像分类基准数据集上进行了大量实验,验证GPPSO优于最先进的方法。以金属断口诊断为例,验证GPPSO算法在实际应用中的有效性。实验结果表明,GPPSO仅需0.04和1.70 GPU天即可在CIFAR-10和CIFAR-100数据集上实现95.26%和76.36%识别准确率。