一个针对多种问题的磁盘故障预测模型

2023年第24卷第7期

摘要

关键词

相关研究

回顶部

《信息与电子工程前沿（英文）》 >> 2023年第24卷第7期 doi: 10.1631/FITEE.2200496

一个针对多种问题的磁盘故障预测模型

1西北工业大学计算机学院，中国西安市，710072；2西北工业大学大数据存储与管理工信部重点实验室，中国西安市，710072；3西北工业大学空天地海一体化大数据应用技术国家工程实验室，中国西安市，710072；4西北工业大学软件学院，中国西安市，710072

收稿日期： 2022-10-21 录用日期： 2023-07-24 发布日期： 2023-07-24

HTML26 PDF 11 收藏 0

摘要

基于日志结构合并（LSM）树的键值（KV）存储系统可优化随机写入性能，并提高读取性能，因此被广泛应用于电子商务、在线分析和实时通信等现代数据存储系统。日志结构合并树将变更的KV数据存在内存中，批量刷新至内存，优化了随机写入效率，但是在系统意外崩溃时会有数据丢失。为了避免内存中的数据丢失，RocksDB在更新内存之前，会将数据写入写前日志（WAL）中。但是开启同步WAL后系统的写入性能会受到较大的影响。在本文中，我们分析了利用本地文件系统保存WAL的一些缺陷，在此基础上提出了一种新的WAL机制，该机制根据WAL文件的特性直接管理原始设备（或分区），避免了无用的元数据更新，同时保证了数据顺序写入磁盘。实验结果表明，对于固态硬盘（SSD）SSD上的小KV数据，MyWAL可以将RocksDB的数据写入性能提高5到8倍。在NVMe SSD和非易失性存储器（NVM）上，MyWAL可以将数据写入性能提高10%–30%。此外，YCSB的结果表明，与SpanDB相比，写入延迟降低了50%。

关键词

键值（KV）存储 ; 日志结构合并（LSM）树 ; 非易失性存储器（NVM） ; NVMe SSD ; 写前日志（WAL）