资源类型

期刊论文 6

年份

2020 2

2017 1

2016 1

2010 1

2008 1

关键词

Hadoop，NameNode，元数据，保留位置的哈希，一致性哈希， 1

面向对象的存储系统；元数据；动态负载均衡；强化学习；Q_learning 1

高性能计算；层次式混合存储系统；分布式元数据管理；数据迁移 1

检索范围：

排序： 展示方式：

A metadata model for collaborative experiments and simulations in earthquake engineering

Jean-Pierre BARDET, Nazila MOKARRAM, Fang LIU

《结构与土木工程前沿（英文）》 2010年 第4卷 第2期   页码 133-153 doi: 10.1007/s11709-010-0036-z

摘要： Research projects in earthquake engineering yield a very large amount of complex data from experiments and computer simulations. Understanding and exchanging these complicated and voluminous data sets prompted the development of metadata models that document the processes of data generation, and facilitate the collaboration and exchange of information between researchers. The present metadata model was designed to document and exchange a large number of large data files in earthquake engineering, but is applicable to other fields of engineering and science. The model was conceived based on a series of former data models, which were unduly complicated and limited to few types of experiments. Simpler than its predecessors, the present metadata model applies to all kinds of earthquake engineering experiments. It was developed in the object-oriented framework using Protégé. Its applications are illustrated with examples from centrifuge experiments.

关键词： metadata     data     documentation     experiment     simulation    

HTML PDF 收藏

Research and establishment of enterprise quality metadata standard

SONG Han, LI Jie, ZHANG Genbao

《机械工程前沿（英文）》 2008年 第3卷 第1期   页码 106-110 doi: 10.1007/s11465-008-0019-0

摘要： Enabling quality managers to utilize and manage quality data efficiently under modern quality management circumstances is a primary issue for improving enterprise quality management. A concept of quality metadata is proposed in this paper, which can help quality managers gain a deeper understanding of various features of quality data and establish a more stable foundation for further use and management of such data. The procedure of establishing quality metadata standards is emphasized in the paper, and the content structure and description scheme are given. Finally, a summary is made and future work is prospected.

关键词： enterprise quality     foundation     description     quality management     primary    

HTML PDF 收藏

Erratum to: MDLB: a metadata dynamic load balancing mechanism based on reinforcement learning

Zhao-qi Wu, Jin Wei, Fan Zhang, Wei Guo, Guang-wei Xie,17034203@qq.com

《信息与电子工程前沿（英文）》 2020年 第21卷 第9期   页码 1412-1412 doi: 10.1631/FITEE.19e0121

摘要： Unfortunately the corresponding author’s ORCID was incorrect. It should be: Fan ZHANG, https://orcid.org/0000-0001-7456-8377.
HTML PDF 收藏

Dr. Hadoop: Hadoop的一种无限可扩展元数据管理机制—小象如何不老？

Dipayan DEV,Ripon PATGIRI

《信息与电子工程前沿（英文）》 2016年 第17卷 第1期   页码 15-31 doi: 10.1631/FITEE.1500015

摘要：

在这个Exa字节标度时代，数据以指数速率增长。反过来，这会在文件系统中生成大量的元数据。 Hadoop是处理大数据的最广泛使用的框架。然而，由于大量元数据的增长，Hadoop的效率受到许多研究人员的质疑。因此，为Hadoop创建高效且可扩展的元数据管理至关重要。基于哈希的映射和子树分区适用于分布式元数据管理方案。子树分区不能在元数据服务器之间均匀地分配工作负载，并且需要迁移元数据以保持负载大致平衡。尽管基于散列的映射在Hadoop的元数据服务器即NameNode之间均匀分配负载，但基于散列的映射仍受到元数据局部性的限制。在本文中，我们提出了一种称为动态循环元数据拆分（DCMS）的循环元数据管理机制。 DCMS使用一致的哈希和保留位置的哈希来保留元数据的位置，保留复制的元数据以实现出色的可靠性，并在NameNode之间动态分配元数据以保持负载平衡。 NameNode是Hadoop的中央心脏。保留所有文件的目录树，所有文件的失败都会导致单点故障（SPOF）。 DCMS删除了Hadoop的SPOF，并提供了有效且可扩展的元数据管理。新框架名为“ Dr. Dr. Hadoop”（作者姓名之后）。

关键词： Hadoop，NameNode，元数据，保留位置的哈希，一致性哈希，    

HTML PDF 收藏

MDLB：一种基于强化学习的元数据动态负载均衡机制 Research Articles

武兆琪1,卫今2,3,张帆1,郭威1,谢光伟2,3

《信息与电子工程前沿（英文）》 2020年 第21卷 第7期   页码 963-1118 doi: 10.1631/FITEE.1900121

摘要： 随着信息和数据量增长，面向对象的存储系统已被广泛应用到很多领域，包括Google文件系统、AmazonS3、Hadoop分布式文件系统和Ceph。其中元数据负载均衡在提高整个系统输入/输出性能方面起着重要作用，元数据负载不平衡会导致服务器出现严重的系统性能瓶颈问题。然而现有元数据负载平衡策略缺乏良好动态性和适用性，如基于子树分割或者哈希的负载策略。提出一种基于强化学习的动态负载平衡机制（MDLB）。采用Q_learning算法，所提基于强化学习机制由3个模块组成，即策略选择网络、负载均衡网络和参数更新网络。实验结果表明MDLB算法可根据元数据服务器的性能动态调节负载，在数据量骤变情况下仍具有很好适应性。

关键词： 面向对象的存储系统；元数据；动态负载均衡；强化学习；Q_learning    

HTML PDF 收藏

ONFS：面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统 Article

Xin LIU, Yu-tong LU, Jie YU, Peng-fei WANG, Jie-ting WU, Ying LU

《信息与电子工程前沿（英文）》 2017年 第18卷 第12期   页码 1940-1971 doi: 10.1631/FITEE.1700626

摘要： 随着超级计算机向Eflops规模快速发展和计算核数急剧增加，更大规模和更复杂的应用成为可能。大规模科学计算、新的工作流应用以及检查点操作均需要存储系统具有非常高的带宽和低延迟，这使得高性能存储系统面临严峻的技术挑战。当前基于磁盘的底层存储系统难以满足新一代Eflops超级计算机和应用的要求。为此，本文提出了基于计算结点内存、固态硬盘和磁盘的层次式混合存储系统ONFS (on-line and near-line file system)。它具有三个存储层次和统一的命名空间，支持可移植操作系统接口（portable operating system interface, POSIX）协议，可提供高带宽、低延迟和超大存储容量。本文详细分析了分布式元数据管理、内存借用和归还策略、数据一致性、并行访问控制，以及向下迁移和向上主动预迁移机制。在天河一号超级计算机上实现了ONFS原型系统，测试了I/O (input/output)性能和可扩展性。测试结果表明，单线程和多线程读/写性能比基于磁盘的Lustre分别高出6倍和5倍。与Lustre相比，运行在ONFS上的典型数据密集型应用可获得6.35倍的I/O加速。

关键词： 高性能计算；层次式混合存储系统；分布式元数据管理；数据迁移    

HTML PDF 收藏

标题 作者 时间 类型 操作

A metadata model for collaborative experiments and simulations in earthquake engineering

Jean-Pierre BARDET, Nazila MOKARRAM, Fang LIU

期刊论文

Research and establishment of enterprise quality metadata standard

SONG Han, LI Jie, ZHANG Genbao

期刊论文

Erratum to: MDLB: a metadata dynamic load balancing mechanism based on reinforcement learning

Zhao-qi Wu, Jin Wei, Fan Zhang, Wei Guo, Guang-wei Xie,17034203@qq.com

期刊论文

Dr. Hadoop: Hadoop的一种无限可扩展元数据管理机制—小象如何不老？

Dipayan DEV,Ripon PATGIRI

期刊论文

MDLB：一种基于强化学习的元数据动态负载均衡机制

武兆琪1,卫今2,3,张帆1,郭威1,谢光伟2,3

期刊论文

ONFS：面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统

Xin LIU, Yu-tong LU, Jie YU, Peng-fei WANG, Jie-ting WU, Ying LU

期刊论文