2016年 第17卷 第1期
《信息与电子工程前沿（英文）》 >> 2016年 第17卷 第1期 doi: 10.1631/FITEE.1500015
Dr. Hadoop: Hadoop的一种无限可扩展元数据管理机制—小象如何不老？
下一篇 上一篇
摘要
在这个Exa字节标度时代，数据以指数速率增长。反过来，这会在文件系统中生成大量的元数据。 Hadoop是处理大数据的最广泛使用的框架。然而，由于大量元数据的增长，Hadoop的效率受到许多研究人员的质疑。因此，为Hadoop创建高效且可扩展的元数据管理至关重要。基于哈希的映射和子树分区适用于分布式元数据管理方案。子树分区不能在元数据服务器之间均匀地分配工作负载，并且需要迁移元数据以保持负载大致平衡。尽管基于散列的映射在Hadoop的元数据服务器即NameNode之间均匀分配负载，但基于散列的映射仍受到元数据局部性的限制。在本文中，我们提出了一种称为动态循环元数据拆分（DCMS）的循环元数据管理机制。 DCMS使用一致的哈希和保留位置的哈希来保留元数据的位置，保留复制的元数据以实现出色的可靠性，并在NameNode之间动态分配元数据以保持负载平衡。 NameNode是Hadoop的中央心脏。保留所有文件的目录树，所有文件的失败都会导致单点故障（SPOF）。 DCMS删除了Hadoop的SPOF，并提供了有效且可扩展的元数据管理。新框架名为“ Dr. Dr. Hadoop”（作者姓名之后）。
京公网安备 11010502051620号
