Search | Engineering

订阅投稿

首页工程期刊工程焦点工程成就工程前沿关于我们 English

资源类型

期刊论文 13

年份

2023 2

2022 2

2021 1

2020 3

2018 2

2017 1

2001 2

展开︾

关键词

自然语言处理 2

ARIMA模型；Kalman滤波；建模；训练；预测 1

主动物品检测；深度Q学习网络；训练算法；服务机器人 1

产品设计；知识推送系统；增强训练集；多分类神经网络；知识匹配 1

分数阶微积分；分数阶反向传播算法；分数阶最速下降法；均方误差；分数阶多尺度全局优化 1

化学反应 1

学习算法 1

导弹 1

建模、学习和推理 1

模式识别 1

液压系统 1

深度学习 1

渗流 1

电磁兼容 1

细分控制 1

联邦边缘学习；量化优化；带宽分配；训练时间最小化 1

自主驾驶；自动驾驶车辆；强化学习；监督学习 1

训练模拟 1

跨语言；隐式篇章关系；协同训练 1

过程神经网络 1

展开︾

检索范围：

排序：展示方式：

预训练语言模型及其应用 Review

王海峰, 李纪为, Hua Wu, Eduard Hovy, Yu Sun

《工程（英文）》 2023年第25卷第6期页码 51-65 doi: 10.1016/j.eng.2022.04.024

摘要：

预训练语言模型（pre-trained languages model, PTLM）在自然语言处理（natural language processing, NLP）领域取得了令人瞩目的成功，并由此引发了下游任务从监督学习到预训练在此之后，一系列预训练模型的创新研究涌现出来。本文系统性、全面的回顾了自然语言处理的代表性工作和最新进展，并按照类别系统性的介绍了自然语言处理领域的预训练模型。首先我们简要介绍了预训练模型，以及不同的模型特点和框架。之后，我们介绍并分析了预训练模型的影响和挑战以及下游任务中的应用。最后，我们简要总结并阐述了预训练模型未来的研究方向。

关键词：预训练模型自然语言处理

HTML PDF 收藏

基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法 Research Article

梁震1,吴陶然2,3,刘万伟4,5,薛白2,杨文婧1,王戟1,庞征斌4

《信息与电子工程前沿（英文）》 2023年第24卷第10期页码 1375-1389 doi: 10.1631/FITEE.2300059

摘要：相比于验证神经网络的鲁棒性是否成立，本文关注点在于给定扰动前提下的鲁棒神经网络训练。现有的代表性训练方法——区间边界传播（IBP）和CROWN-IBP——在较小扰动下表现良好，但在较大扰动下性能显著下降，本文称之为衰退风险。具体来说，衰退风险是指与较小扰动情况相比，IBP系列训练方法在较大扰动情况下不能提供预期的鲁棒神经网络的现象。为了缓解这种衰退风险，我们提出一种全局的、单调递减的鲁棒神经网络训练策略，该策略在每个训练轮次考虑多个扰动（全局鲁棒性训练策略），并将其相应的鲁棒性损失以单调递减的权重进行组织（单调递减鲁棒性训练策略）值得注意的是，与原有训练方法相比，所提训练策略保留了更多的模型准确度，这意味着该训练策略更加平衡地考虑了模型的鲁棒性和准确性。

关键词：鲁棒神经网络；训练方法；衰退风险；全局鲁棒性训练；单调递减鲁棒性

HTML PDF 收藏

导弹特种装备与训练模拟系统研制

黄先祥,谢建,高钦和

《中国工程科学》 2001年第3卷第2期页码 65-70

摘要：

导弹特种装备与模拟训练系统综合运用多学科先进技术，建立了数十个数学、物理和网络模型，研制出上百台仪器设备，实现了导弹全武器系统与发射全过程的模拟。简要介绍了系统的组成、功用和简要技术方案。

关键词：导弹训练模拟液压系统细分控制电磁兼容

HTML PDF 收藏

基于深度Q学习网络与新训练算法的服务机器人主动物品检测模型 Research Article

刘少鹏,田国会,崔永成,邵旭阳

《信息与电子工程前沿（英文）》 2022年第23卷第11期页码 1673-1683 doi: 10.1631/FITEE.2200109

摘要：目前基于强化学习的AOD模型存在训练效率低和测试精度差的问题。因此，本文提出一种基于深度Q学习网络的AOD模型，并设计了一种新的模型训练算法。与现有研究不同，本文针对所提AOD模型设计了一种基于记忆的训练算法，以提高模型训练效率和测试精度。此外，提出一种最终状态生成方法判断训练过程中AOD任务何时停止。实验结果表明所提方法优于其他同类方法，所设计的训练算法比原始训练算法更高效。

关键词：主动物品检测；深度Q学习网络；训练算法；服务机器人

HTML PDF 收藏

过程神经网络的训练及其应用

何新贵,梁久祯,许少华

《中国工程科学》 2001年第3卷第4期页码 31-35

摘要：

研究过程神经网络的学习算法及其在过程模式识别中的应用。针对权值基展开的过程神经网络讨论了权值基的选取规则和对采样曲线的标准化处理问题，给出了含一个隐层的过程神经网络的误差反传播学习算法。以聚合化学反应和渗流实验两个具体实例验证了算法的有效性，也说明了过程神经网络的广泛应用前景。

关键词：过程神经网络学习算法模式识别化学反应渗流

HTML PDF 收藏

基于ARIMA和Kalman滤波的道路交通状态实时预测 Article

东伟徐,永东王,利民贾,勇秦,宏辉董

《信息与电子工程前沿（英文）》 2017年第18卷第2期页码 287-302 doi: 10.1631/FITEE.1500381

摘要：道路交通流预测不仅可以为出行者提供实时有效的信息，而且可以帮助他们选择最佳路径，减少出行时间，实现道路交通路径诱导，缓解交通拥堵。本文提出了一种基于ARIMA模型和Kalman滤波算法的道路交通流预测方法。首先，基于道路交通历史数据建立时间序列的ARIMA模型。其次，结合ARIMA模型和Kalman滤波法构建道路交通预测算法，获取Kalman滤波的测量方程和更新方程。然后，基于历史道路交通数据进行算法的参数设定。最后，以北京的四条路段作为案例，对所提出的方法进行了分析。实验结果表明，基于ARIMA模型和Kalman滤波的实时道路交通状态预测方法是可行的，并且可以获得很高的精度。

关键词： ARIMA模型；Kalman滤波；建模；训练；预测

HTML PDF 收藏

神经自然语言处理最新进展——模型、训练和推理 Review

周明, 段楠, 刘树杰, 沈向洋

《工程（英文）》 2020年第6卷第3期页码 275-290 doi: 10.1016/j.eng.2019.12.014

摘要：本文将从3个角度回顾神经自然语言处理的最新进展，包括模型、训练和推理。在模型部分，我们将介绍典型的神经网络建模方法，包括词嵌入建模、句子嵌入建模和序列到序列建模等。在训练部分，我们将介绍常用的学习方法，包括监督学习、半监督学习、无监督学习、多任务学习、迁移学习和主动学习等。在推理部分，我们将介绍典型的推理框架，包括非神经网络方法和神经网络方法。

关键词：自然语言处理深度学习建模、学习和推理

HTML PDF 收藏

面向强化学习自动驾驶模型的异步监督学习预训练方法 Research Articles

王云鹏,郑坤贤,田大新,段续庭,周建山

《信息与电子工程前沿（英文）》 2021年第22卷第5期页码 615-766 doi: 10.1631/FITEE.1900637

摘要：强化学习训练需要大量训练数据，然后模型才能达到合理的性能要求，这使得基于强化学习的模型不适用于现实环境，尤其在数据昂贵的情况下。具体而言，通过在多个驾驶演示数据集上并行且异步执行多个监督学习过程，在异步监督学习预训练阶段引入先验知识。经过预训练后，模型将被部署到真实车辆上进一步开展强化学习训练，以适应实际环境并不断突破性能极限。本文在赛车模拟器TORCS（The Open Racing Car Simulator）上对所提出的预训练方法进行评估，以验证该方法在改善强化学习训练阶段端到端自动驾驶模型的初始性能和收敛速度方面足够可靠此外，建立一个实车验证系统，以验证所提预训练方法在实车部署中的可行性。仿真结果表明，在有监督的预训练阶段使用一些演示，可以显著提高强化学习训练阶段的初始性能和收敛速度。

关键词：自主驾驶；自动驾驶车辆；强化学习；监督学习

HTML PDF 收藏

用改进的分数阶最速下降法训练分数阶全局最优反向传播机 Research Articles

蒲亦非1,王健2

《信息与电子工程前沿（英文）》 2020年第21卷第6期页码 809-962 doi: 10.1631/FITEE.1900593

摘要：本文介绍采用改进的分数阶最速下降法（FSDM）训练分数阶全局最优反向传播机。该反向传播机是一种分数阶反向传播神经网络（FBPNN）。分数阶反向传播神经网络是反向传播神经网络（BPNNs）大家族中一个先进的分数阶分支，它不同于绝大多数传统一阶最速下降法训练的经典一阶BPNNs。首先，从数学上描述用改进FSDM训练的FBPNN理论概念。然后，详细给出FBPNN分数阶全局最优收敛性的数学证明，分析神经网络结构构建以及分数阶多尺度全局寻优问题。

关键词：分数阶微积分；分数阶反向传播算法；分数阶最速下降法；均方误差；分数阶多尺度全局优化

HTML PDF 收藏

基于协同学习的跨语言隐式篇章关系识别 None

Yao-jie LU, Mu XU, Chang-xing WU, De-yi XIONG, Hong-ji WANG, Jin-song SU

《信息与电子工程前沿（英文）》 2018年第19卷第5期页码 651-661 doi: 10.1631/FITEE.1601865

摘要：然后，利用联合训练方式，分别基于中文和英文视角学习两个分类器，同时利用无标签中文数据帮助完成中文隐式篇章关系识别。实验结果证明该方法有效。

关键词：跨语言；隐式篇章关系；协同训练

HTML PDF 收藏

知识推送系统中一种基于多分类径向基神经网络的知识匹配方法 Research Articles

张树有,顾叶,伊国栋,王自立

《信息与电子工程前沿（英文）》 2020年第21卷第7期页码 963-1118 doi: 10.1631/FITEE.1900057

摘要：在改进之前工作基础上，研究实际操作中增强有限训练集的两种方法：案例特征向量中振荡特征权值和修正案例特征。此外，提出一种多分类径向基神经网络，可从知识库中一次性匹配知识并保证推送结果准确性。使用数控机床中导轨设计的训练集训练和测试该方法，实验结果表明增强训练集有效，本文提出的方法优于其他匹配方法。

关键词：产品设计；知识推送系统；增强训练集；多分类神经网络；知识匹配

HTML PDF 收藏

鸡尾酒会问题的技术回顾、当前进展及未来挑战 Review

Yan-min QIAN, Chao WENG, Xuan-kai CHANG, Shuai WANG, Dong YU

《信息与电子工程前沿（英文）》 2018年第19卷第1期页码 40-63 doi: 10.1631/FITEE.1700814

摘要：如波束成形和多通道盲源分离；一些基于深度学习的最新技术，如深度聚类（deep clustering, DPCL）、深度吸引网络（deep attractor network, DANet）以及排列不变性训练笔者认为，利用一个更加强大的模型来有效地开发和利用来自麦克风阵列、声学训练集合以及语言本身的知识非常重要。更好的优化策略和技术的提出会逐步解决鸡尾酒会问题。

关键词：鸡尾酒会问题；计算听觉场景分析；非负矩阵分解；排列不变性训练；多说话人语音处理

HTML PDF 收藏

基于联邦边缘学习的梯度量化和带宽分配优化策略 Research Article

刘沛西1,3,江甲沫2,朱光旭3,程磊4,5,蒋伟1,罗武1,杜滢2,王志勤2

《信息与电子工程前沿（英文）》 2022年第23卷第8期页码 1247-1263 doi: 10.1631/FITEE.2100538

摘要：由于边缘设备有限算力和边缘网络有限的无线资源，利用联邦边缘学习（federated edge learning, FEEL）训练机器学习模型通常非常耗时。本文研究了量化FEEL系统中训练时间最小化问题，其中异构边缘设备通过正交信道向边缘服务器发送量化后的梯度。采用随机量化对上传的梯度进行压缩，可减少每轮通信的开销，但可能会增加通信轮数。综合考虑通信时间、计算时间和通信轮数对训练时间进行建模。基于所提出的训练时间模型，描述了通信轮数和每轮延迟之间的内在权衡。具体地，分析了量化FEEL的收敛性。提出一种基于数据模型双驱动的拟合方法以得到精确的最优间隔，并在此基础上得到通信轮数和总训练时间的闭式表达式。在总带宽限制下，将训练时间最小化问题建模为量化级数和带宽分配的优化问题。

关键词：联邦边缘学习；量化优化；带宽分配；训练时间最小化

HTML PDF 收藏

标题作者时间类型操作

预训练语言模型及其应用

王海峰, 李纪为, Hua Wu, Eduard Hovy, Yu Sun

期刊论文

基于全局和单调递减鲁棒性策略的鲁棒神经网络训练方法

梁震1,吴陶然2,3,刘万伟4,5,薛白2,杨文婧1,王戟1,庞征斌4

期刊论文

导弹特种装备与训练模拟系统研制

黄先祥,谢建,高钦和

期刊论文