ONFS：面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统

2017年第18卷第12期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2017年第18卷第12期 doi: 10.1631/FITEE.1700626

ONFS：面向高性能计算的基于内存、固态硬盘和磁盘的层次式混合文件系统

. School of Computer, National University of Defense Technology, Changsha 410073, China.. Computer Science and Engineering, University of Nebraska-Lincoln, Lincoln 68588, USA.. National Supercomputing Center, Tianjin 300457, China.

发布日期： 2018-03-08

HTML135 PDF 9 收藏 0

摘要

随着超级计算机向Eflops规模快速发展和计算核数急剧增加，更大规模和更复杂的应用成为可能。大规模科学计算、新的工作流应用以及检查点操作均需要存储系统具有非常高的带宽和低延迟，这使得高性能存储系统面临严峻的技术挑战。当前基于磁盘的底层存储系统难以满足新一代Eflops超级计算机和应用的要求。为此，本文提出了基于计算结点内存、固态硬盘和磁盘的层次式混合存储系统ONFS (on-line and near-line file system)。它具有三个存储层次和统一的命名空间，支持可移植操作系统接口（portable operating system interface, POSIX）协议，可提供高带宽、低延迟和超大存储容量。本文详细分析了分布式元数据管理、内存借用和归还策略、数据一致性、并行访问控制，以及向下迁移和向上主动预迁移机制。在天河一号超级计算机上实现了ONFS原型系统，测试了I/O (input/output)性能和可扩展性。测试结果表明，单线程和多线程读/写性能比基于磁盘的Lustre分别高出6倍和5倍。与Lustre相比，运行在ONFS上的典型数据密集型应用可获得6.35倍的I/O加速。

关键词

高性能计算 ; 层次式混合存储系统 ; 分布式元数据管理 ; 数据迁移