MDLB：一种基于强化学习的元数据动态负载均衡机制

2020年第21卷第7期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2020年第21卷第7期 doi: 10.1631/FITEE.1900121

MDLB：一种基于强化学习的元数据动态负载均衡机制

1国家数字交换系统工程技术研究中心，中国郑州市，450002;2复旦大学计算机科学技术学院，中国上海市，200433;3复旦大学大数据研究院，中国上海市，200433

收稿日期： 2019-03-01 录用日期： 2020-07-10 发布日期： 2020-07-10

HTML26 PDF 41 收藏 0

摘要

随着信息和数据量增长，面向对象的存储系统已被广泛应用到很多领域，包括Google文件系统、AmazonS3、Hadoop分布式文件系统和Ceph。其中元数据负载均衡在提高整个系统输入/输出性能方面起着重要作用，元数据负载不平衡会导致服务器出现严重的系统性能瓶颈问题。然而现有元数据负载平衡策略缺乏良好动态性和适用性，如基于子树分割或者哈希的负载策略。提出一种基于强化学习的动态负载平衡机制（MDLB）。采用Q_learning算法，所提基于强化学习机制由3个模块组成，即策略选择网络、负载均衡网络和参数更新网络。实验结果表明MDLB算法可根据元数据服务器的性能动态调节负载，在数据量骤变情况下仍具有很好适应性。

关键词

面向对象的存储系统 ; 元数据 ; 动态负载均衡 ; 强化学习 ; Q_learning