检索范围:
排序: 展示方式:
大数据存储技术综述 Review
Aisha SIDDIQA, Ahmad KARIM, Abdullah GANI
《信息与电子工程前沿(英文)》 2017年 第18卷 第8期 页码 1040-1070 doi: 10.1631/FITEE.1500441
荆一楠 ,张寒冰,李智鑫 ,王晓阳 ,吴杰,柴洪峰
《中国工程科学》 2022年 第24卷 第4期 页码 121-132 doi: 10.15302/J-SSCAE-2022.04.014
整体来看,为了适应银行的数字化转型升级,满足业务发展需要,新时代的银行数据库除了满足原子性、一致性、隔离性以及持久性(ACID)等数据库的基本要素之外,还应有区别于传统的特性才能跟上甚至引领时代这些新要求包括:① 可扩展性,数据库系统需要具备扩展数据的存储、访问、计算等方面的能力,特别是横向扩展的能力;② 自主性,自主可控是信息安全的前提,是我国金融业务发展的需要,因此金融业特别是银行业务系统中的数据库系统应该是自主可控的,保障上层业务稳定运行;⑥ 安全性,数据库系统需要具备足够的安全性,为金融数据安全提供保障;⑦ 可迁移性,数据库系统需要能够将存储在Oracle、DB2等国外数据库中的业务数据完美地迁移出来,并保证数据的完整性与可用性
YCSB++:研究人员对YCSB进行扩展后提出了YCSB++ [32],其包括并行性测试、弱一致性测试、块上传测试等方面。YCSB++为多个测试客户机之间提供分布式同步,并能够测量最终的一致性、批量加载以及批量写入的优化效果。
SA-RSR:一种适用于异或类纠删码分布式存储系统的数据读取最优恢复方法 Research Articles
张兴军1,梁宁静1,刘云飞1,张长江1,李洋2
《信息与电子工程前沿(英文)》 2022年 第23卷 第6期 页码 858-875 doi: 10.1631/FITEE.2100242
冗余策略经常被用于分布式存储系统,以保证数据的可靠性与可用性。纠删码是一种代表性的冗余策略,具有低存储开销优势,这种优势促进了它在分布式存储系统中的应用。采用异或类纠删码机制的存储系统,如果发生单节点故障,便会进行数据恢复,该过程需要从幸存节点中下载数据,然后恢复故障节点中的数据。然而,数据恢复过程中的数据传输通常需要相当长时间。目前研究主要集中在通过减少数据恢复过程所需数据量,减少数据传输所需时间,但存在复杂度高和局部最优解等问题。本文提出一种随机搜索恢复算法,SA-RSR,该算法能加速异或类纠删码单节点故障恢复。SA-RSR利用模拟退火技术寻找读取和传输最少数据量的最优恢复机制,且该搜索过程可在多项式时间内完成。最后,为验证该方法的有效性,使用多种异或类纠删码进行仿真验证,并在真实存储系统Ceph中验证。实验结果表明,与传统恢复方法相比,SA-RSR减少了30%的数据读取与传输量,提高了20.36%的数据恢复性能。
大数据的分布式机器学习的策略与原则 Review
Eric P. Xing,Qirong Ho,Pengtao Xie,Dai Wei
《工程(英文)》 2016年 第2卷 第2期 页码 179-195 doi: 10.1016/J.ENG.2016.02.008
大数据的发展已经引领了对能够学习包含数百万至数十亿参数的复杂模型的机器学习系统的新需求,以保证足够的能力来消化海量的数据集,提供强大的预测分析(如高维潜特征、中介表示和决策功能)。为了在这样的尺度上,在成百上千台的分布式机器集群中运行机器学习算法,关键往往是要投入显著的工程性的努力——有人可能会问,这样的工程是否还属于机器学习的研究领域?ldquo;大”的机器学习系统可以极大地从根植于机器学习的统计和算法的理解中受益——因此,机器学习的研究人员应该不会回避这样的系统设计——我们讨论了一系列从我们近来对工程尺度的机器学习解决方案的研究中提炼的原则和策略它们关注的是机器学习研究传统上注意较少的四个关键问题:一个机器学习程序怎样能分布到一个集群中去?机器学习计算怎样能通过机器间的交流连接起来?这样的交流是如何被执行的?机器间应该交流的内容是什么?通过揭示机器学习程序所独有的,而非常见于传统计算机程序中的基础性的统计和算法上的特点,并通过剖析成功案例,以揭示我们如何利用这些原则来同时设计和开发高性能的分布式机器学习软件以及通用的机器学习框架,我们为机器学习的研究人员和从业者提供了进一步塑造并扩大机器学习与系统之间的领域的机会
Hadoop: Hadoop的一种无限可扩展元数据管理机制—小象如何不老?
Dipayan DEV,Ripon PATGIRI
《信息与电子工程前沿(英文)》 2016年 第17卷 第1期 页码 15-31 doi: 10.1631/FITEE.1500015
在这个Exa字节标度时代,数据以指数速率增长。反过来,这会在文件系统中生成大量的元数据。 Hadoop是处理大数据的最广泛使用的框架。然而,由于大量元数据的增长,Hadoop的效率受到许多研究人员的质疑。因此,为Hadoop创建高效且可扩展的元数据管理至关重要。基于哈希的映射和子树分区适用于分布式元数据管理方案。在本文中,我们提出了一种称为动态循环元数据拆分(DCMS)的循环元数据管理机制。DCMS使用一致的哈希和保留位置的哈希来保留元数据的位置,保留复制的元数据以实现出色的可靠性,并在NameNode之间动态分配元数据以保持负载平衡。 NameNode是Hadoop的中央心脏。DCMS删除了Hadoop的SPOF,并提供了有效且可扩展的元数据管理。新框架名为“ Dr. Dr. Hadoop”(作者姓名之后)。
杨学军,戴华东,夏军
《中国工程科学》 2002年 第4卷 第5期 页码 44-52
数据局部性是多处理器系统中的重要研究方向之一。结合该领域目前国内外研究现状和我们近一阶段的研究进展,讨论了多处理器系统中的数据局部性及其优化问题。针对现有局部性度量模型存在的不足,提出了一种增强的可用于层次式并行计算机体系结构的局部性度量模型。在静态和动态局部性优化技术方面,分别探讨了基于投影分层的数据变换框架和基于瞬时访问信息的动态页迁移策略,并展开了系列相关的讨论。另外,针对利用数据局部性时必须解决的一个关键问题——存储一致性问题,进行了深入的研究,提出了以操作系统为中心的线程存储一致性模型。
卢锡城
《中国工程科学》 2000年 第2卷 第10期 页码 105-109
关键词: 体系结构 大规模并行处理机(MPP) 对称多处理机(SMP) 基于Cache—致性的非一致存储访问(CC-NUMA) 群机(duster) 超结点
基于r-子团最小覆盖的图结构数据高效关键字搜索 Article
Asieh GHANBARPOUR, Khashayar NIKNAFS, Hassan NADERI
《信息与电子工程前沿(英文)》 2020年 第21卷 第3期 页码 448-464 doi: 10.1631/FITEE.1800133
面向离散多智能体系统一致性问题的自触发鲁棒分布式模型预测控制方法 Research Articles
李佳琦1,王庆领2,苏延旭2,孙长银
《信息与电子工程前沿(英文)》 2021年 第22卷 第8期 页码 1068-1079 doi: 10.1631/FITEE.2000182
关键词: 一致性;自触发控制;分布式模型预测控制
DDUC:数据更新与编码解耦的纠删码系统 Research Article
屠要峰1,2,肖蓉2,韩银俊1,2,陈正华2,金浩2,齐学成2,孙辛远2
《信息与电子工程前沿(英文)》 2023年 第24卷 第5期 页码 716-730 doi: 10.1631/FITEE.2200466
数据标识编码——连接材料基因组工程数据库与可传承集成智能制造的桥梁 Perspective
王毅, 李佩璇, 林徳烨, 唐斌, 王军, 管全梅, 叶谦, 代海星, 高军, 范晓丽, 寇宏超, 宋海峰, 周峰, 马纪军, 刘梓葵, 李金山, 刘维民
《工程(英文)》 2020年 第6卷 第6期 页码 612-620 doi: 10.1016/j.eng.2020.05.001
数据标识符(DID)是所有类型数据库中必不可少的标签,尤其是与集成计算材料工程(ICME)、可传承集成智能制造(I3M)和工业物联网有关的数据库本文提出了由一系列构建单元(意义段)组成的DID统一格式,该格式与国际和国家标准(如ISO/IEC29168-1:2000、GB/T 27766–2011、GA/T 543.2–7365–2011、SL 325–2014、SL 607–2018、WS 363.2–2011和QX/T 39–2005)中标识符的经典格式一致此外,依据ISO/IEC 10646国际标准中统一编码标识符单元的格式,对每个构建单元的总长度不做限制规定。基于这些规则,本研究提出的DID具有灵活性,便于在各种云平台之间进行扩展和共享。通过将这些二维码作为一组与云平台相连的数据指纹,人们可以自动跟踪成分-工艺-结构-性能-服役全流程中的进度和更新,为加速先进材料的发现和制造以及提高研究产出、效能和协作铺平道路。
挑战与希望:AI2.0时代从大数据到知识 Review
Yue-ting ZHUANG,Fei WU,Chun CHEN,Yun-he PAN
《信息与电子工程前沿(英文)》 2017年 第18卷 第1期 页码 3-14 doi: 10.1631/FITEE.1601883
标题 作者 时间 类型 操作
数据标识编码——连接材料基因组工程数据库与可传承集成智能制造的桥梁
王毅, 李佩璇, 林徳烨, 唐斌, 王军, 管全梅, 叶谦, 代海星, 高军, 范晓丽, 寇宏超, 宋海峰, 周峰, 马纪军, 刘梓葵, 李金山, 刘维民
期刊论文