回顾人工智能(artificial intelligence, AI)的发展历史,我们可以清晰地看到脑科学给AI领域带来的巨大突破,如深度学习。目前,尽管AI及其应用的发展趋势已经超越了人类的预期,但AI与人类智能之间仍然存在着难以逾越的鸿沟。从脑科学到AI、从了解大脑到模拟大脑,在脑科学与AI研究之间建立起一座桥梁已经成为一种迫切需求。为此,我们首先需要通过研究新型脑成像技术来探索脑科学的秘密,建立大脑的动态连接图谱以及将神经科学实验与理论、模型和统计学相结合等。在此基础上,我们将进一步研究新一代AI理论和方法,从而建立起从机器感知和机器学习到机器思维和机器决策的颠覆性模型和工作模式。与此同时,本文还将讨论在脑科学启发新一代AI过程中的一些机遇与挑战。
因果推理是解释性分析的强大建模工具,它可使当前的机器学习变得可解释。如何将因果推理与机器学习相结合,开发可解释人工智能(XAI)算法,是迈向人工智能2.0的关键步骤之一。为了将因果推理的知识带给机器学习和人工智能领域的学者,我们邀请从事因果推理的研究人员,从因果推理的不同方面撰写了本综述。本综述包括以下几个部分:况琨博士的'平均因果效应评估——简要回顾与展望',李廉教授的'反事实推理的归因问题',耿直教授的'Yule-Simpson悖论和替代指标悖论',徐雷教授的'因果发现CPT方法',张坤教授的'从观测数据中发现因果关系',廖备水和黄华新教授的'形式论辩在因果推理和解释中的作用',丁鹏教授的'复杂实验中的因果推断',苗旺教授的'观察性研究中的工具变量和阴性对照方法',蒋智超博士的'有干扰下的因果推断'。
最近,由于可使用的大数据和计算能力的快速增长,人工智能重新获得了巨大的关注和投资。机器学习(ML)方法已成功应用于解决学术界和工业界的许多问题。尽管大数据应用的高速增长为ML的发展提供动力,但它也给传统计算机系统带来了数据处理速度和可扩展性方面的严峻挑战。专门为AI应用程序设计的计算平台已经从对冯·诺依曼(von Neumann)平台的补充发展到必备的独立技术解决方案。这些平台属于更大的类别,被称为'专有域计算',专注于针对AI的特定定制。在本文中,我们特别总结了用于深度神经网络(DNN)的加速器设计(即DNN加速器)的最新进展。我们从计算单元、数据流优化、网络模型、基于新兴技术的体系结构以及针对新兴应用的加速器等方面讨论支持DNN执行的各种体系结构。我们还提供了有关AI芯片设计未来趋势的展望。
自然语言处理(natural language processing, NLP)是人工智能研究的一个重要领域,旨在构建能够理解和生成自然语言、实现人机自然交互的技术方案。近5年,基于神经网络的自然语言处理方法取得突飞猛进的发展。基于海量无标注数据和大量标注数据进行建模,使得机器翻译、自动问答和阅读理解等很多任务的水准都得到了极大的提高。本文将从3个角度回顾神经自然语言处理的最新进展,包括模型、训练和推理。在模型部分,我们将介绍典型的神经网络建模方法,包括词嵌入建模、句子嵌入建模和序列到序列建模等。在训练部分,我们将介绍常用的学习方法,包括监督学习、半监督学习、无监督学习、多任务学习、迁移学习和主动学习等。在推理部分,我们将介绍典型的推理框架,包括非神经网络方法和神经网络方法。之所以强调推理方面的研究,是因为推理是构建基于知识的可解释自然语言处理模型的关键技术。本文的最后将概括介绍我们对自然语言处理未来发展方向的一些思考。
近年来,人工智能在软件算法、硬件实现和应用等领域得到了迅速发展。本文综述了人工智能在生物医学中应用的最新进展,包括疾病诊断、生活辅助、生物医学信息处理和生物医学研究。综述的目的是跟踪新的科学成就,了解人工智能在生物医学中的巨大潜力和相关技术的适用性,并为相关领域的研究人员提供启示。可以断言,正如人工智能本身一样,人工智能在生物医学中的应用尚处于早期阶段。新的进展和突破将继续推进,不断深入并扩大广度,并在不久的将来迅速发展。本文以人工智能在癫痫发作和膀胱功能失调预测方面的应用的两个案例来说明其在生物医疗等方面的应用。
伦理原则和治理技术对于人工智能(AI)的健康和可持续发展至关重要。为了实现AI造福人类社会这一长期目标,中国政府、研究机构和企业已经发布了AI的伦理原则,并启动了研究AI治理技术的项目。本文对这些工作进行了综述,并着重介绍了中国在这一领域的初步成果。此外,本文总结了AI治理研究中所面临的主要挑战,并讨论了未来的研究方向。
近年来,深度学习的研究进展本质上是基于'以大数据驱动小任务'的范式,其依靠的是通过大量数据训练的分类器解决一项单一的任务。本文中,我们提出将范式中数据和任务的关系颠倒。在'以小数据驱动大任务'的新范式下,只有少量数据的单一人工智能系统便可以发展出'常识',并且用'常识'来解决各种任务。通过回顾综合了机器与人类视觉常识模型的最新突破,我们将阐释这个新范式的潜力。我们将功能性(functionality)、物理(physics)、意图(intent)、因果(causality)和效用(utility)(FPICU)认定为拥有类人常识的认知人工智能的5个核心领域。对于视觉理解,FPICU超越了传统的'是什么'和'在何处'的问题框架,而聚焦于'为什么'和'怎么样'。这些问题在像素层面上并不可见,却促进了视觉场景的创建、维护和发展。因此,我们将它们称为视觉的'暗物质'。正如仅仅研究可观察到的物质不足以理解宇宙,我们认为不研究学习FPICU等'暗物质'就无法理解视觉。本文通过展示如何在少量训练数据的条件下观测和应用FPICU来广泛完成一系列挑战性任务,从而证明这个新观点具有开发类人常识的认知智能的能力。这些任务包括工具使用、规划、效用推断和社交学习。总而言之,为了更好地完成任务,下一代人工智能技术必须具备类人常识的'暗物质'。
在深度学习(deep learning, DL)算法驱动的数据计算时代,确保算法的安全性和鲁棒性至关重要。最近,研究者发现深度学习算法无法有效地处理对抗样本。这些伪造的样本对人类的判断没有太大影响,但会使深度学习模型输出意想不到的结果。最近,在物理世界中成功实施的一系列对抗性攻击证明了此问题是所有基于深度学习系统的安全隐患。因此有关对抗性攻击和防御技术的研究引起了机器学习和安全领域研究者越来越多的关注。本文将介绍深度学习对抗攻击技术的理论基础、算法和应用。然后,讨论了防御方法中的一些代表性研究成果。这些攻击和防御机制可以为该领域的前沿研究提供参考。此外,文章进一步提出了一些开放性的技术挑战,并希望读者能够从所提出的评述和讨论中受益。
本文从几何角度来理解深度学习,特别是提出了生成对抗网络(GAN)的最优传输(OT)观点。自然数据集具有内在的模式,该模式可被概括为流形分布原理,即同一类高维数据分布于低维流形附近。 GAN主要完成流形学习和概率分布变换两项任务。其中,后者可以用经典的OT方法来实现。从OT的角度来看,生成器用于计算OT映射,而判别器用于计算生成数据分布与真实数据分布之间的Wasserstein距离;两者都可以归结为一个凸优化过程。此外, OT理论揭示了生成器与判别器之间的内在关系是协作的而不是竞争的,并且解释了模式崩溃的根本原因。在此基础上,我们提出了一种新的生成模型,该模型利用自编码器(AE)进行流形学习,并利用OT映射进行概率分布变换。这个AE-OT模型提升了深度学习理论的严谨性和透明性、提高了计算的稳定性和效率,尤其是避免了模式崩溃问题。实验结果验证了我们的假设,并充分展示了我们提出的AE-OT模型的优点。