资源类型

期刊论文 1698

会议视频 123

会议信息 48

会议专题 1

年份

2024 7

2023 188

2022 184

2021 206

2020 136

2019 168

2018 128

2017 113

2016 84

2015 50

2014 34

2013 36

2012 32

2011 30

2010 42

2009 29

2008 49

2007 53

2006 48

2005 48

展开 ︾

关键词

颠覆性技术 33

大数据 29

智能制造 16

人工智能 15

机器学习 14

2020 13

能源 13

新一代智能制造 10

可靠性 9

数据挖掘 9

可持续性 8

安全性 8

“一带一路” 7

战略性新兴产业 7

核能 7

神经网络 7

增材制造 6

COVID-19 5

农业科学 5

展开 ︾

检索范围:

排序: 展示方式:

大数存储技术综述 Review

Aisha SIDDIQA, Ahmad KARIM, Abdullah GANI

《信息与电子工程前沿(英文)》 2017年 第18卷 第8期   页码 1040-1070 doi: 10.1631/FITEE.1500441

摘要: 对于容量快速增长、日趋多元化的大数,业界亟需开发可行更好的存储工具。为满足大数存储需求,存储机制已经形成从传统数据管理系统到NoSQL技术的结构化转移。然而,目前可用大数存储技术无法为持续增长的异构数据提供扩展可用的解决方案。在科学实验、医疗保健、社交网络和电子商务等实际应用中,存储大数分析的第步。本文旨在对目前可用大数的最先进的存储技术进行全面调查,提供了个明确的大数存储技术分类方法,以帮助数据分析师和研究人员了解和选择更适合其需求的存储机制。我们使用布鲁尔的CAP定理比较和分析了现有存储方法,评估了不同存储架构的性能,讨论了存储技术的意义、应用及其对其他类别数据的支持。为了加快部署可靠和扩展存储系统,文中还突出了未来研究面临的几个挑战。

关键词: 大数大数存储NoSQL数据分布数据库CAP定理扩展-分区弹性可用-分区弹性    

具有冗余结构的分布数据库服务器及其负载平衡模型

田俊峰,刘玉玲,杜瑞忠

《中国工程科学》 2004年 第6卷 第6期   页码 35-42

摘要:

服务器冗余技术在解决传统分布环境的可用和性能瓶颈问题的同时给系统的管理带来了新的挑战。介绍了分布数据库服务器的构成原理及工作模型,重点讨论了它的冗余关系、基于移动代理的负载平衡模型及其性能分析等。

关键词: 分布数据库     冗余     负载平衡     移动代理     性能分析    

面向金融场景的下数据测试基准研究

楠 ,张寒冰,李智鑫 ,王晓阳 ,吴杰,柴洪峰

《中国工程科学》 2022年 第24卷 第4期   页码 121-132 doi: 10.15302/J-SSCAE-2022.04.014

摘要:

整体来看,为了适应银行的数字化转型升级,满足业务发展需要,新时代的银行数据除了满足原子、隔离以及持久(ACID)等数据的基本要素之外,还应有区别于传统的特性才能跟上甚至引领时代这些新要求包括:① 扩展数据系统需要具备扩展数据存储、访问、计算等方面的能力,特别是横向扩展的能力;② 自主,自主可控是信息安全的前提,是我国金融业务发展的需要,因此金融业特别是银行业务系统中的数据系统应该是自主可控的,保障上层业务稳定运行;⑥ 安全数据系统需要具备足够的安全,为金融数据安全提供保障;⑦ 迁移数据系统需要能够将存储在Oracle、DB2等国外数据中的业务数据完美地迁移出来,并保证数据的完整可用

YCSB++:研究人员对YCSB进行扩展后提出了YCSB++ [32],其包括并行测试、弱测试、块上传测试等方面。YCSB++为多个测试客户机之间提供分布同步,并能够测量最终的、批量加载以及批量写入的优化效果。

关键词: 金融业     银行     金融数据     数据     测试基准    

SA-RSR:种适用于异或类纠删码分布存储系统的数据读取最优恢复方法 Research Articles

张兴军1,梁宁静1,刘云飞1,张长江1,李洋2

《信息与电子工程前沿(英文)》 2022年 第23卷 第6期   页码 858-875 doi: 10.1631/FITEE.2100242

摘要:

冗余策略经常被用于分布存储系统,以保证数据的可靠可用。纠删码是种代表的冗余策略,具有低存储开销优势,这种优势促进了它在分布存储系统中的应用。采用异或类纠删码机制的存储系统,如果发生单节点故障,便会进行数据恢复,该过程需要从幸存节点中下载数据,然后恢复故障节点中的数据。然而,数据恢复过程中的数据传输通常需要相当长时间。目前研究主要集中在通过减少数据恢复过程所需数据量,减少数据传输所需时间,但存在复杂度高和局部最优解等问题。本文提出种随机搜索恢复算法,SA-RSR,该算法能加速异或类纠删码单节点故障恢复。SA-RSR利用模拟退火技术寻找读取和传输最少数据量的最优恢复机制,且该搜索过程可在多项时间内完成。最后,为验证该方法的有效,使用多种异或类纠删码进行仿真验证,并在真实存储系统Ceph中验证。实验结果表明,与传统恢复方法相比,SA-RSR减少了30%的数据读取与传输量,提高了20.36%的数据恢复性能。

关键词: 分布存储系统;数据可靠可用;异或类纠删码;单节点失效;数据恢复    

大数分布机器学习的策略与原则 Review

Eric P. Xing,Qirong Ho,Pengtao Xie,Dai Wei

《工程(英文)》 2016年 第2卷 第2期   页码 179-195 doi: 10.1016/J.ENG.2016.02.008

摘要:

大数的发展已经引领了对能够学习包含数百万至数十亿参数的复杂模型的机器学习系统的新需求,以保证足够的能力来消化海量的数据集,提供强大的预测分析(如高维潜特征、中介表示和决策功能)。为了在这样的尺度上,在成百上千台的分布机器集群中运行机器学习算法,关键往往是要投入显著的工程的努力——有人可能会问,这样的工程是否还属于机器学习的研究领域?ldquo;大”的机器学习系统可以极大地从根植于机器学习的统计和算法的理解中受益——因此,机器学习的研究人员应该不会回避这样的系统设计——我们讨论了系列从我们近来对工程尺度的机器学习解决方案的研究中提炼的原则和策略它们关注的是机器学习研究传统上注意较少的四个关键问题:个机器学习程序怎样能分布个集群中去?机器学习计算怎样能通过机器间的交流连接起来?这样的交流是如何被执行的?机器间应该交流的内容是什么?通过揭示机器学习程序所独有的,而非常见于传统计算机程序中的基础的统计和算法上的特点,并通过剖析成功案例,以揭示我们如何利用这些原则来同时设计和开发高性能的分布机器学习软件以及通用的机器学习框架,我们为机器学习的研究人员和从业者提供了进步塑造并扩大机器学习与系统之间的领域的机会

关键词: 机器学习     人工智能大数     大型模型     分布系统     原则     理论     数据并行     模型并行    

Hadoop: Hadoop的种无限扩展数据管理机制—小象如何不老?

Dipayan DEV,Ripon PATGIRI

《信息与电子工程前沿(英文)》 2016年 第17卷 第1期   页码 15-31 doi: 10.1631/FITEE.1500015

摘要:

在这个Exa字节标度时代,数据以指数速率增长。反过来,这会在文件系统中生成大量的元数据。 Hadoop是处理大数的最广泛使用的框架。然而,由于大量元数据的增长,Hadoop的效率受到许多研究人员的质疑。因此,为Hadoop创建高效且扩展的元数据管理至关重要。基于哈希的映射和子树分区适用于分布数据管理方案。在本文中,我们提出了种称为动态循环元数据拆分(DCMS)的循环元数据管理机制。DCMS使用的哈希和保留位置的哈希来保留元数据的位置,保留复制的元数据以实现出色的可靠,并在NameNode之间动态分配元数据以保持负载平衡。 NameNode是Hadoop的中央心脏。DCMS删除了Hadoop的SPOF,并提供了有效且扩展的元数据管理。新框架名为“ Dr. Dr. Hadoop”(作者姓名之后)。

关键词: Hadoop,NameNode,元数据,保留位置的哈希,哈希,    

中国优秀博硕士学位论文全文数据(CDMD)总体介绍

《中国工程科学》 2002年 第4卷 第8期   页码 94-94

多处理器系统中的数据局部及其优化技术研究

杨学军,戴华东,夏军

《中国工程科学》 2002年 第4卷 第5期   页码 44-52

摘要:

数据局部是多处理器系统中的重要研究方向之。结合该领域目前国内外研究现状和我们近阶段的研究进展,讨论了多处理器系统中的数据局部及其优化问题。针对现有局部度量模型存在的不足,提出了种增强的可用于层次并行计算机体系结构的局部度量模型。在静态和动态局部优化技术方面,分别探讨了基于投影分层的数据变换框架和基于瞬时访问信息的动态页迁移策略,并展开了系列相关的讨论。另外,针对利用数据局部时必须解决的个关键问题——存储问题,进行了深入的研究,提出了以操作系统为中心的线程存储模型。

关键词: 计算机     多处理器系统     数据局部     局部度量模型     数据变换框架     页迁移     线程模型    

KDD中双协同机制的研究(Ⅰ)

杨炳儒,王建新

《中国工程科学》 2002年 第4卷 第4期   页码 41-51

摘要:

针对KDD(基于数据的知识发现)主流发展中存在的典型问题提出了用知识去 制约与驱动数据, 并通过数据改善知识结构的知识发现的新思想,形成了具有双协同机制的KDD的开放系统KDD*,从而提高了知识发现的速度、精度和认知自主,并使知识在结构上具备了实时维护与自我进化的能力,同时阐述了作为双协同基础的数据和知识在本质上的对应关系。

关键词: 知识结点     本原知识     本原数据     数据子类结构     协同机制    

关于大规模并行处理机系统扩展设计

卢锡城

《中国工程科学》 2000年 第2卷 第10期   页码 105-109

摘要: 长期以来,结构上的和编程上的友好性直是并行计算机系统设计中追求的重要而又互相矛盾的两个目标。文章结合研究实践,对大规模并行处理机系统(MPP)扩展设计的若干问题进行探讨。

关键词: 体系结构     大规模并行处理机(MPP)     对称多处理机(SMP)     基于Cache—的非存储访问(CC-NUMA)     群机(duster)     超结点    

基于r-子团最小覆盖的图结构数据高效关键字搜索 Article

Asieh GHANBARPOUR, Khashayar NIKNAFS, Hassan NADERI

《信息与电子工程前沿(英文)》 2020年 第21卷 第3期   页码 448-464 doi: 10.1631/FITEE.1800133

摘要: 对图结构数据的查询,关键字搜索是结构化查询语言的种替代方式。关键字查询的结果是图结构数据个连接的结构,其覆盖所有或部分关键字。文本覆盖率和结构紧凑是评价关键字查询结果是否相关的两个主要属性。近期研究通过在搜索过程中限制搜素结果的结构形状并考察其覆盖率和紧凑来解决上述问题。然而,这些方法仍无法解决检索结果中存在冗余节点的问题。本文针对关键字查询结果提出基于r-子团最小覆盖(minimal covered r-clique, MCCr)的概念,作为现有定义的扩展模型,并给出高效算法以检测给定查询的MCCr。这些算法的优势在于不仅可以检索出某个关键字查询的全部非重复MCCr,还可以分布方式执行。此外,提出这些算法的近似版本,以多项时间复杂度检索最高的k个近似MCCr。论文表明近似算法基于成对近似排序检索出结果。基于两个真实数据集的大量实验验证了所提算法的效率和有效

关键词: 关键字搜索;图挖掘;信息检索;数据;子团    

面向离散多智能体系统问题的自触发鲁棒分布模型预测控制方法 Research Articles

李佳琦1,王庆领2,苏延旭2,孙长银

《信息与电子工程前沿(英文)》 2021年 第22卷 第8期   页码 1068-1079 doi: 10.1631/FITEE.2000182

摘要: 针对类有界加扰动下的非线性离散多智能体系统问题,提出种基于自触发鲁棒分布模型预测控制的算法。首先构造了个新的代价函数,多智能体系统通过该函数进行耦合控制。为克服加扰动,利用每个智能体的模型预测控制器迭代求解最坏情况下的局部最小—最大优化问题。然后,给出保证算法迭代可行和闭环多智能体系统达到的充分条件。对于每个智能体,设计了兼容约束和误差终端域。最后,通过仿真算例验证了所提算法的有效和正确

关键词: ;自触发控制;分布模型预测控制    

DDUC:数据更新与编码解耦的纠删码系统 Research Article

屠要峰1,2,肖蓉2,韩银俊1,2,陈正华2,金浩2,齐学成2,孙辛远2

《信息与电子工程前沿(英文)》 2023年 第24卷 第5期   页码 716-730 doi: 10.1631/FITEE.2200466

摘要: 分布存储系统中,常用的数据冗余方法包括副本和纠删码(erasure code,EC)。相较于副本,EC具有更好的存储效率,但是在更新方面的开销更大。此外,并发更新带来的和可靠性问题给EC应用带来了新的挑战。许多研究工作都致力于优化EC技术,包括算法优化、数据更新方法创新等,但并发更新的和可靠性问题尚未得到很好解决。本文介绍了种将数据更新与EC编码解耦的存储系统,命名为DDUC,并提出了种副本与校验块结合的放置策略。基于上述策略,实现了种两阶段数据更新方法,在第阶段按照副本模式进行数据更新,在第二阶段由校验节点独立完成EC编码。这样在保证高并发性能的同时,解决了并发更新导致的数据可靠降低的问题。同时利用PMem硬件的字节寻址和8字节原子写特性实现了种轻量级的日志机制,在提升性能的同时保证了数据

关键词: 并发更新;高可靠;纠删码;分布存储系统    

数据标识编码——连接材料基因组工程数据与可传承集成智能制造的桥梁 Perspective

王毅, 李佩璇, 林徳烨, 唐斌, 王军, 管全梅, 叶谦, 代海星, 高军, 范晓丽, 寇宏超, 宋海峰, 周峰, 马纪军, 刘梓葵, 李金山, 刘维民

《工程(英文)》 2020年 第6卷 第6期   页码 612-620 doi: 10.1016/j.eng.2020.05.001

摘要:

数据标识符(DID)是所有类型数据中必不可少的标签,尤其是与集成计算材料工程(ICME)、可传承集成智能制造(I3M)和工业物联网有关的数据本文提出了由系列构建单元(意义段)组成的DID统,该格式与国际和国家标准(如ISO/IEC29168-1:2000、GB/T 27766–2011、GA/T 543.2–7365–2011、SL 325–2014、SL 607–2018、WS 363.2–2011和QX/T 39–2005)中标识符的经典格式此外,依据ISO/IEC 10646国际标准中统编码标识符单元的格式,对每个构建单元的总长度不做限制规定。基于这些规则,本研究提出的DID具有灵活性,便于在各种云平台之间进行扩展和共享。通过将这些二维码作为组与云平台相连的数据指纹,人们可以自动跟踪成分-工艺-结构-性能-服役全流程中的进度和更新,为加速先进材料的发现和制造以及提高研究产出、效能和协作铺平道路。

关键词: 数据标识符     数据     数字孪生     集成计算材料工程    

挑战与希望:AI2.0时代从大数到知识 Review

Yue-ting ZHUANG,Fei WU,Chun CHEN,Yun-he PAN

《信息与电子工程前沿(英文)》 2017年 第18卷 第1期   页码 3-14 doi: 10.1631/FITEE.1601883

摘要: 本文对大数时代人工智能领域近期出现的若干理论和技术进展进行了综述。我们认为,将数据驱动机器学习方法与人类的常识先验与隐直觉有效结合起来,实现可解释、更鲁棒和更通用的人工智能。AI 2.0时代大数人工智能具体表现为:从浅层计算到深度神经推理;从单纯依赖于数据驱动的模型到数据驱动与知识引导相结合学习;从领域任务驱动智能到更为通用条件下的强人工智能(从经验中学习)。下代人工智能(AI 2.0)将改变计算本身,将大数转变为知识以支持人类社会作出更好决策。

关键词: 深度推理;知识扩充;强人工智能;大数;跨媒体    

标题 作者 时间 类型 操作

大数存储技术综述

Aisha SIDDIQA, Ahmad KARIM, Abdullah GANI

期刊论文

具有冗余结构的分布数据库服务器及其负载平衡模型

田俊峰,刘玉玲,杜瑞忠

期刊论文

面向金融场景的下数据测试基准研究

楠 ,张寒冰,李智鑫 ,王晓阳 ,吴杰,柴洪峰

期刊论文

SA-RSR:种适用于异或类纠删码分布存储系统的数据读取最优恢复方法

张兴军1,梁宁静1,刘云飞1,张长江1,李洋2

期刊论文

大数分布机器学习的策略与原则

Eric P. Xing,Qirong Ho,Pengtao Xie,Dai Wei

期刊论文

Hadoop: Hadoop的种无限扩展数据管理机制—小象如何不老?

Dipayan DEV,Ripon PATGIRI

期刊论文

中国优秀博硕士学位论文全文数据(CDMD)总体介绍

期刊论文

多处理器系统中的数据局部及其优化技术研究

杨学军,戴华东,夏军

期刊论文

KDD中双协同机制的研究(Ⅰ)

杨炳儒,王建新

期刊论文

关于大规模并行处理机系统扩展设计

卢锡城

期刊论文

基于r-子团最小覆盖的图结构数据高效关键字搜索

Asieh GHANBARPOUR, Khashayar NIKNAFS, Hassan NADERI

期刊论文

面向离散多智能体系统问题的自触发鲁棒分布模型预测控制方法

李佳琦1,王庆领2,苏延旭2,孙长银

期刊论文

DDUC:数据更新与编码解耦的纠删码系统

屠要峰1,2,肖蓉2,韩银俊1,2,陈正华2,金浩2,齐学成2,孙辛远2

期刊论文

数据标识编码——连接材料基因组工程数据与可传承集成智能制造的桥梁

王毅, 李佩璇, 林徳烨, 唐斌, 王军, 管全梅, 叶谦, 代海星, 高军, 范晓丽, 寇宏超, 宋海峰, 周峰, 马纪军, 刘梓葵, 李金山, 刘维民

期刊论文

挑战与希望:AI2.0时代从大数到知识

Yue-ting ZHUANG,Fei WU,Chun CHEN,Yun-he PAN

期刊论文