智能光子学——引领当下并重塑未来的颠覆性技术

许丹琳 ,  马玉辰 ,  金国藩 ,  曹良才

Engineering ›› 2025, Vol. 46 ›› Issue (3) : 198 -226.

PDF (13477KB)
Engineering ›› 2025, Vol. 46 ›› Issue (3) : 198 -226. DOI: 10.1016/j.eng.2024.08.016
研究论文

智能光子学——引领当下并重塑未来的颠覆性技术

作者信息 +

Intelligent Photonics: A Disruptive Technology to Shape the Present and Redefine the Future

Author information +
文章历史 +
PDF (13799K)

摘要

人工智能（AI）近年来取得了突破性进展，正逐步发展为引领未来的战略性技术。随着ChatGPT等生成式人工智能模型的迅猛发展，计算资源的消耗急剧增加，基于冯·诺伊曼架构的电子计算系统在算力和能耗方面面临严峻挑战。随着“消费光子”时代的到来，特别是集成光学、光纤传感和光学材料等技术的进步，光计算作为一种新兴计算范式，有望突破传统电子计算架构的瓶颈，成为新一代高效智能计算平台。在AI与光子技术的深度融合和协同创新下，智能光子学作为一门新兴交叉学科，正加速引领新一轮科技革命和产业变革。一方面，深度学习作为AI的重要分支，为光子器件的优化设计、智能光学系统的开发以及光学数据的处理与分析提供了高效手段，助力智能手机成像、生物医学显微成像、虚拟现实/增强现实显示等多个应用场景。另一方面，基于光子学的器件和系统可用于神经网络的物理实现，从而显著提升计算系统的速度和能效，有望在光通信、自动驾驶、天文观测等多个领域带来深远变革。本文综述了近年来智能光子学的研究进展，探讨了深度学习与超构光学、全息、量子光子学的协同作用，阐述了智能光子技术的典型应用，并总结了该领域面临的主要挑战与发展机遇。

Abstract

Artificial intelligence (AI) has taken breathtaking leaps forward in recent years, evolving into a strategic technology for pioneering the future. The growing demand for computing power—especially in demanding inference tasks, exemplified by generative AI models such as ChatGPT—poses challenges for conventional electronic computing systems. Advances in photonics technology have ignited interest in investigating photonic computing as a promising AI computing modality. Through the profound fusion of AI and photonics technologies, intelligent photonics is developing as an emerging interdisciplinary field with significant potential to revolutionize practical applications. Deep learning, as a subset of AI, presents efficient avenues for optimizing photonic design, developing intelligent optical systems, and performing optical data processing and analysis. Employing AI in photonics can empower applications such as smartphone cameras, biomedical microscopy, and virtual and augmented reality displays. Conversely, leveraging photonics-based devices and systems for the physical implementation of neural networks enables high speed and low energy consumption. Applying photonics technology in AI computing is expected to have a transformative impact on diverse fields, including optical communications, automatic driving, and astronomical observation. Here, recent advances in intelligent photonics are presented from the perspective of the synergy between deep learning and metaphotonics, holography, and quantum photonics. This review also spotlights relevant applications and offers insights into challenges and prospects.

关键词

人工智能 / 光学神经网络 / 深度学习 / 超构光学 / 全息 / 量子光子学

Key words

Artificial intelligence / Optical neural network / Deep learning / Metaphotonics / Holography / Quantum photonics

引用本文

引用格式 ▾
许丹琳,马玉辰,金国藩,曹良才. 智能光子学——引领当下并重塑未来的颠覆性技术[J]. 工程（英文）, 2025, 46(3): 198-226 DOI:10.1016/j.eng.2024.08.016

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

人工智能（AI）是增强并加速科学研究的有力方法，其旨在模拟、延伸及扩展人类智能来执行复杂任务[1]。受到大脑信息处理机制的启发，深度学习利用多层人工神经网络，能够自动完成数据表征与抽象的学习过程，不仅显著提升了信息处理速度，更展现出强大的统计推断能力[2]。自AlexNet在2012年ImageNet竞赛中夺冠[3]以来，基于深度学习的AI技术便持续吸引全球关注。OpenAI推出的ChatGPT和DALL-E等生成式AI模型更以颠覆性姿态引发轰动，向公众生动展现了人工智能的强大潜力。为争夺AI市场主导权，谷歌、微软、苹果等科技巨头正持续加大投入，积极开发多元化AI应用。与此同时，中国科技企业如百度、阿里巴巴与腾讯也全力推进AI战略布局，力争在全球人工智能创新浪潮中占据领导地位。

近年来，AI领域取得重大突破，其影响力已延伸至物理学、经济学、工程学及医学等诸多学科。光子学作为多个科学领域的关键使能技术，尤其受益于深度神经网络（DNN）的迅猛发展。光子学在数字基础设施、虚拟现实（VR）/增强现实（AR）及高性能计算等领域的新兴应用，对光学器件和系统提出了日益严苛的要求。传统光学工程解决方案往往耗时且依赖大量人力。在此背景下，深度学习的引入为光子学带来新机遇：不仅能显著加速计算过程[4]，还可有效提升计算精度[5‒6]。

摩尔定律（Moore's law）指出集成电路上的晶体管与电阻数量每18~24个月便会翻倍，在过去数十年间，该定律所预测的趋势，推动了计算机硬件性能的显著提升。基于该定律所预测的计算能力的指数级增长，人工智能技术取得了令人瞩目的进展。然而随着AI应用的爆发式增长，对算力的需求急剧攀升，摩尔定律所依赖的电子硬件性能指数提升模式近年来却明显放缓。由于功耗引发的热效应以及晶体管物理尺寸的极限，摩尔定律的可持续性正面临严峻挑战[7]。当前普遍采用冯·诺依曼架构的电子计算系统虽为AI算法提供了基础运行环境，但其存算分离的架构特性导致处理不断扩大的数据集时产生显著延迟与高能耗[8]。自2012年起，训练AI系统所需的计算量呈指数级增长，倍增周期为3.4个月，远超遵循摩尔定律（倍增周期为两年）的电子集成电路的发展速度[9]。能效问题同样不容忽视：训练单个大型语言模型所产生的二氧化碳排放量约相当于125架次北京至纽约往返航班的碳足迹[10]。这些因素共同表明，传统电子计算在算力供给与能效方面已难以满足未来AI应用的发展需求。

为开发高速低能耗的AI处理器，学界已展开多方面探索。设计面向人工智能的专用硬件加速器，如图形处理器（GPU）、张量处理器（TPU）、现场可编程门阵列（FPGA）和专用集成电路（ASIC），有助于显著提升计算能力[11]。与此同时，旨在突破冯·诺依曼架构局限的神经形态计算架构（如IBM的TrueNorth、Neurogrid及英特尔的Loihi）通过实现存内计算，正成为一种具有高能效优势的新型计算范式[12]。然而需要指出的是，上述方法仍局限于传统电子计算体系的框架内，难以实现单位面积计算能力的量级突破。随着神经网络的快速发展，人们对兼具超高计算速度与优异能效的替代性计算方案的需求日益迫切。众多超越电子计算系统范畴的计算技术正逐渐受到关注，其中包括碳纳米管计算[13]、量子计算[14]、生物计算[15]与光子计算[16]等新兴技术。

光子凭借其宽带传输、低功耗、高速运行及高空间并行度等特性，有望成为新一代信息载体替代电子[17]。这些独特优势催生了光子学研究热潮，推动集成光学[18‒20]与光纤通信[21]等领域的蓬勃发展。随着光子集成电路和光纤技术的持续进步与商业化，光互连已发展成为成熟的信息处理技术。以Ayar Labs公司开发的光输入/输出（I/O）芯粒与集成激光器为例，该方案可实现超过2 Tbps的传输带宽，同时将能耗控制在5 pJ·bit-1以下，其性能参数显著优于传统电学I/O技术[22]。

随着对具有特殊光学效应光子材料的持续探索，研究人员在开发能够突破传统电子局限的光子器件方面取得实质性进展。迄今已成功研制出多种高性能光子信号处理器，可实现时间积分、时间微分、希尔伯特变换[23]及非线性光子激活[24]等可重构信号处理功能。基于硅基材料与薄膜铌酸锂平台的光量子态生成与控制技术[25]，更为可扩展的光子量子计算开辟了前景广阔的发展路径。

近年来，超构光学、全息技术与量子光子学等领域取得重大突破。得益于超构光学的革命性进展，Metalenz公司推出的全球首款智能手机偏振传感器Polar ID，实现了安全便捷的面部认证功能[26]。基于合成波长全息技术的高分辨率全息成像系统，可精准探测隐藏目标，包括拐角后方或被散射介质（如雾气、生物组织乃至人类颅骨）遮挡的物体[27]。搭载255个探测光子的“九章3.0”量子计算原型机，在处理高斯玻色采样（GBS）问题时，其运算速度较超级计算机快1016倍[28]。这些突破性进展共同表明，光子计算正成为重构人工智能计算范式的极具吸引力的替代方案。

AI与光子学的深度融合正推动智能光子学这一新兴交叉学科的快速发展。该领域展现出驱动计算生态系统范式变革的巨大潜力，并为实际应用带来颠覆性创新。凭借卓越的数据处理与推理能力，AI技术近年来在光子学领域引发革命性突破：智能化的光学工具将成像与传感技术推向前所未有的高度[29]。例如，搭载AI辅助功能的内窥镜系统可实现癌症的快速精准诊断，并结合内窥镜治疗技术为外科医生提供实时操作反馈[30]；集成于智能手机、可穿戴设备及固定装置中的光子传感器，通过机器学习算法实现对健康参数的高速监测与多种疾病的可靠诊断[31]。

智能光子学研究的另一重要方向是发展用于实现神经网络的光子学技术。以智能家居场景为例：当前设备因内存与算力限制，无法本地存储和运行大型机器学习模型，导致语音查询与推理结果间存在显著延迟。采用光子技术作为数据编码与计算的执行平台，可显著降低家庭自动化系统的响应延迟[32]。此外，将光子神经网络应用于自动驾驶领域，即能满足实时决策的毫秒级响应要求，其能耗又仅相当于传统高功耗电子计算机的极小部分[33]。正如此类案例所示，AI与光子学之间正在形成一种共生共赢的发展范式，持续推动两个领域的协同演进。

由此可见，AI与光子学的交叉融合不仅为攻克复杂光子学难题提供了创新解决方案，更为拓展人工智能应用边界提供了高速、高能效的光子计算平台。智能光子学的突破性进展有望将第五代移动通信技术（5G）、云计算和物联网（IoT）提升至全新高度，助力构建数据驱动、可持续且高效互联的未来社会。本文从深度学习、超构光学、全息技术及量子光子学的多维视角，系统回顾了智能光子学领域取得的重大进展。第2节系统阐述智能光子学的整体框架；第3节重点探讨计算光学中的深度学习技术及DNN的光学实现方案；第4节介绍深度学习赋能的超表面与超表面神经网络；第5节阐释深度学习驱动的新型全息技术范式及全息启发式神经网络；第6节深入分析量子光子学与AI技术的相互作用机制；第7节重点展示智能光子学的实际应用案例；最后在第8节中，我们全面探讨这一新兴交叉学科领域面临的挑战与未来发展方向。

2 智能光子学概述

在AI与光子学深度融合的推动下，智能光子学正成为一项既塑造当代科技格局又重新定义未来发展的颠覆性技术。如图1所示，该领域通过深度学习与超构光学、全息技术及量子光子学的多维协同，凸显了数字世界与物理世界的深度融合。这一新兴交叉学科主要聚焦两个核心方向：一方面深度挖掘AI在光子学领域的赋能作用；另一方面积极探索光子学在人工智能发展中的潜力空间。

2.1 AI赋能光子学

近年来，AI实现重大飞跃，已发展成为赋能现实应用智能化升级的关键技术。随着数据集规模与复杂性的持续增长，AI正加速融入多学科领域，以推动高效的数据处理与分析能力。在光子学领域，利用AI辅助解决复杂光子学问题已成为研究重点：通过将AI技术融入正向建模与逆向设计，可显著提升光子学问题解决的效率与精度[34]。在正向建模过程中，神经网络可作为替代性物理计算模型，通过构建从光学参数到物理响应的直接映射路径，为复杂光学现象提供计算捷径。DNN凭借其强大的特征学习能力，已成为处理与分析复杂光学信息的有效工具。目前已有多种深度学习模型被成功应用于全息技术[35]、量子实验[36]、光-物质相互作用[37]、计算成像[38]及光学传感[39]等领域。在逆向设计方面，AI能够学习从物理响应到设计参数的逆向映射关系。最新研究成果展示了深度学习在超表面设计[40]和量子光子器件优化[41]中的巨大潜力。此外，深度学习还可实现成像系统和通信光学系统的智能化设计与灵活控制[42‒43]，有效降低系统复杂度、提升性能指标，并显著抑制噪声与串扰干扰[44]。

深度学习在光子学应用中虽展现出卓越性能，但仍面临若干亟待解决的关键挑战[4]。构建大规模高质量数据集面临的挑战，已成为扩展网络规模以应对更复杂问题的关键制约因素。另一局限性在于，当前深度学习技术在光子学应用中难以实现对多维光学场的精确调控。此外，反向传播算法在网络训练过程中存在若干固有缺陷，包括对数字化训练模型的过度依赖、可扩展性不足以及训练过程操作复杂等问题。这些局限性促使物理感知训练[45]和免反向传播训练[46]等创新方案的提出。

2.2 光子学赋能AI

光子学技术极大地受益于AI技术的赋能，反之亦然。AI技术的蓬勃发展对计算硬件提出了极高要求，其在线性代数运算中面临处理时间冗长与能耗过高的双重挑战。在此背景下，发展以光子学为底层架构的AI计算平台，成为突破当前瓶颈的一个重要研究方向。基于光子操纵的计算方法通常分为两类：数字计算与模拟计算。数字计算通过光学定向逻辑运算、光学晶体管和光学逻辑器件等实现，其工作机制类似于电子计算机。图2（a）展示了执行光学AND（与）和NAND（与非）布尔运算的定向逻辑范例[47]。目前，在宏观、微观及纳米尺度，光学逻辑门系统的研发方面已取得重大进展[48]。光学逻辑门在光纤通信的光信号处理[49]、光数据存储[50]以及大规模光学量子计算[51]等专用领域展现出应用潜力。与此同时，模拟计算则充分利用光场的固有物理特性（包括振幅、相位、偏振及光-物质相互作用[52]），无需额外电路即可实现特定数学运算。图2（b）展示了Goodman于1978年提出的光学矢量-矩阵乘法器原理[53]：由透镜复制的光源矢量阵列输入后，与加载在空间光调制器（SLM）上的矩阵进行光学相乘，随后SLM每行的所有像素被聚集到电荷耦合器件的对应探测器上。这种高效的线性乘加模型为其他光学计算奠定了基础。图2（c）所示的4f光学系统（其中，f代表透镜焦距）通过两个透镜的级联傅里叶变换，基于卷积定理[54]实现矩阵乘法运算，该技术因其高效性在信息处理领域得到广泛使用，已成为现代光学计算中不可或缺的核心技术[55]。此外，如图2（d）所示，通过精心设计的超表面可实现光学微分运算[56]，该技术可直接应用于图像边缘检测等场景。

前沿光子技术——涵盖超构光学、全息技术与量子光子学——正屹立于信息技术研究与产业发展的潮头，有望满足新兴人工智能应用对计算能力的爆炸式需求。超构光学凭借其小型化、易集成与灵活的光场调控能力，展现出取代传统笨重光学元件的巨大潜力，为构建高性能AI计算架构提供了新路径[57]。作为光学信息处理的重要手段，全息技术能够完整记录并重建三维光场，其独特的光学数据捕获、存储与传输能力，使其在AI系统中实现高效光学信息处理成为可能[58]。量子光子学作为另一个快速发展的前沿领域，在执行特定任务时展现出相对经典计算的指数级加速潜力[59]。依托其超高速并行计算优势，光学量子计算有望为AI系统提供大规模算力支撑。本文将重点探讨AI与超构光学、全息技术和量子光子学三大领域的交叉融合和相互作用。

当前，基于光子学的神经网络物理实现方案主要涵盖集成光学神经网络与自由空间光学神经网络两大技术路径。光子集成电路（PIC）的实现依托相干硅光子学[60]、WDM技术[61]与集成量子光子学[62]等核心方法。这些具备紧凑架构的片上集成光学神经网络（ONN）展现出高度集成性、可编程控制能力以及硬件可扩展性与可重构性优势。大规模光子集成电路被寄予厚望，有望广泛应用于AI计算场景。然而，在当前技术条件下，要扩展光子集成电路以满足未来Pbps（petabit-per-second）级的容量需求，仍面临巨大挑战[63]。光子集成电路的进一步发展受限于计算单元尺寸、带宽密度、能效水平以及片上控制与校准精度等因素。该领域的技术创新亟须突破宽带材料[64]、异质集成[65]、密集波导[66]以及高效可调谐与调制器件[67]等关键方向。自由空间光学神经网络则通过多种技术途径实现，包括基于纳米制造技术的全息光学元件[68]、光电器件[69]以及超表面[70]等。该架构能够充分利用三维光互连能力，实现光场的灵活调控与光学矩阵运算。然而，其推理精度受到级联光子器件制造精度与系统对准精度的制约，同时光学组件体积庞大、集成度低等问题也导致网络可扩展性受限。尽管光子计算在计算速度、能效和信息密度方面相比电子计算具有显著优势，但其在AI系统中的实际应用目前仍处于实验室研究阶段，距离大规模商业化部署尚有较长路程需要突破。

光子计算处理器近年来实现跨越式发展，在特定计算任务中展现出超越GPU、TPU等电子计算平台的速度与能效优势。图3 [69,71‒79]系统对比了当前典型光子与电子计算架构的计算速度与能效表现。其中，光子计算实现方案包括：自由空间光学神经网络[69]、基于马赫-曾德尔干涉仪（MZI）的集成ONN [71]、相变材料（PCM）[72]、多模干涉单元[73]、微环谐振器[74]及其他新型结构[75]，以及自由空间与集成混合架构[76]。电子计算处理器涵盖Neurogrid、TrueNorth [77]、Haswell E5-2699 v3 CPU、Nvidia Tesla P40 GPU、Google TPU [78]和Nvidia A100 GPU [79]等代表平台。光子计算正在引发人工智能计算的范式变革，其巨大潜力在于能够以多个数量级突破电子计算的能效极限，同时实现超高速计算。

3 智能光子学中的深度学习

深度学习[2]被公认为信息处理与统计推断领域的主流算法。其近年来的突破性进展主要源于三大推动力：新型网络架构的涌现[80]、训练数据集的极大丰富以及计算能力的持续提升。在深度学习框架内，人工智能通过模拟生物神经系统来构建DNN，这是一种包含线性运算与非线性激活函数的多层级计算架构。

互连的神经元构成了DNN的基本架构，包含输入层、多个隐藏层及输出层。通过级联神经网络层和参数优化训练，DNN凭借其通用函数逼近能力，已成为科学与工程领域中强大、通用且计算高效的重要工具[81]。图4（a）展示了深度学习中神经元的运算过程：每个神经元的功能模块由加权加法单元与非线性激活单元组成。第一层的数学表达如下[82]：

y=flx=ϕwlTx+bl

式中， y = (y1, y2, ..., ym )ᵀ为输出向量， y ∈ ℝ m×1。 x = (x1, x2, ..., xn )ᵀ为输入向量， x ∈ ℝ n×1。ϕ表示激活函数。w = (wnm )为权重矩阵，w ∈ ℝ n×m。 b = (b1, b2, ..., bm )ᵀ为偏置向量， b ∈ ℝ m×1。m和n分别表示输出向量与输入向量的元素数量。l为神经网络层索引。ℝ表示实数域。深度学习的核心目标在于寻找一个映射函数 fₗ: x → y (ℝ n → ℝ m )。如图4（b）所示，通过将多个单层网络堆叠成包含N个层次的DNN，可构建其简化框架。

yNx=fNfN-1…f2f1x

3.1 面向计算光学的深度学习

得益于其高效的计算能力，深度学习算法为计算光学中的正向建模与逆向设计问题提供了高质量的解决方案。研究表明，深度学习在构建学习模型以优化图像重建、校正计算成像与传感配置中的像差方面表现出显著有效性[83‒84]。在显微镜技术[85‒86]、散射成像[87‒88]、定量相位恢复[89]及无透镜成像[90]等多个领域，基于深度学习的计算成像与传感方法已取得重要进展。如图4（c）[91]所示，采用U-net网络实现菲涅尔波带片（FZA）无透镜成像的快速重建，即为一典型范例。实验证明，深度学习在当前的计算成像与传感方法中实现了实质性的性能提升，其卓越的函数拟合能力不仅显著优化成像质量，同时能大幅提升处理速度。由于深度学习框架天然适配数字数据处理，其在实现高保真、长寿命光学存储系统中的应用也受到广泛关注[92]。一项基于深度学习的方法已被证明能够突破衍射极限，实现高密度光学信息存储[93]。

深度学习固有的数据驱动属性也有助于解决光学和光子设计问题，如纳米光子器件、光通信器件以及计算成像和传感系统所呈现的问题。深度学习已成为纳米光子设计的强大工具，因为它可以获得纳米光子结构与所需功能特性之间的非线性映射[94]。在光纤通信领域，传输速率和频带的增加使信号对非线性失真效应更加敏感。深度学习在通信系统中的应用对光纤非线性抑制具有显著潜力，这对提升光通信系统容量至关重要。具体而言，端到端深度学习技术已被成功应用于光纤收发器设计，在42 km传输距离上实现了42 Gbit·s-1的数据传输速率[95]。利用深度学习优化光纤通信器件和系统的设计，有助于实现高动态范围、高带宽和大规模的光网络。DNN也已渗透到成像和传感系统的设计中，实现了紧凑型、低成本成像仪和传感器的开发。图4（d）[96]展示了一个深度学习用于智能传感器设计的例子。如上所述，深度学习的特征提取能力使其能够处理海量复杂的候选结构数据集，从而实现高效、高保真度和多自由度的逆向结构设计。

然而，大多数面向计算光学设计的DNN仍依赖大规模标注数据集进行训练。这些数据通常需通过实验测量或基于传统算法的物理模拟获取，不仅导致需要收集大规模数据以支撑高成本、高要求的网络训练，还使得获取准确可靠的真值（ground truth）极为困难。数据集的质量直接决定了网络性能与泛化能力的天花板。尽管混合学习[97]和物理信息学习[98]等新兴策略可在一定程度上缓解数据收集的难题，但其性能仍难以与基于大型数据集的监督学习相媲美。此外，网络训练所需的大量计算资源，使得目前难以在移动或可穿戴设备上部署用于成像与传感的大规模神经网络。另一个突出问题是，现有深度学习模型对光子结构光学特性的调控自由度较为有限。为提升光子设计能力，需将拓扑、相位和角动量等额外自由度纳入模型考量。为实现对光的全面操控，目前正在探索基于迁移学习[99]和强化学习[100]等技术构建通用模型的相关解决方案。

3.2 神经网络的光学实现

计算光学领域的重大进展——主要得益于深度学习的广泛应用——反过来显著推动了神经网络硬件加速器的研究发展。虽然GPU和TPU等电子硬件加速器已相对成熟，能够有效提升深度学习算法的计算速度，但随着信息容量持续呈指数级增长，此类电子设备在未来可预见的时间内仍难以满足算力需求。作为DNN中的核心运算，矩阵计算占据了绝大部分计算负载，因此优化矩阵运算性能已成为提升深度学习计算硬件效能的关键。在此背景下，基于光子学的加速器展现出独特优势：它们在大容量数据处理、低延迟运算和高能效矩阵计算方面具有突出表现[101]。自1987年Farhat等[102]通过实验实现首个具有反馈机制的32神经元全连接ONN以来，利用光学平台构建神经网络一直备受关注。当前ONN研究的重点在于如何以光学方式实现线性运算和非线性激活函数[103]。其中，线性运算可通过光的物理传播特性（如干涉、衍射和散射）来实现数学计算；而非线性激活层则主要采用光电转换或基于非线性光学效应的全光非线性器件。目前，ONN架构的研究主要集中在集成光子平台[104]与自由空间光学[105]两大技术路线。

3.2.1 基于光子集成电路的光子计算

光子集成电路[106]通过将激光器、波导、调制器和探测器等多种光学元件集成于单一芯片，为高效执行计算任务提供了重要平台。硅基光电技术的最新突破为开发片上集成光子计算系统铺平了道路，这些系统兼具紧凑型设计、高集成密度和优异稳定性。硅光子集成电路的制造工艺与互补金属氧化物半导体（CMOS）技术兼容，从而支持低成本大规模生产。用于芯片级ONN的典型硅光子集成电路设计方案包括MZI架构和波分复用（WDM）技术。

基于MZI的光子集成电路工作原理如图5（a）所示。每一层包含一个光学干涉单元（用于实现任意矩阵乘法运算）和一个光学非线性单元（用于执行非线性激活）。任意实值矩阵 Z 可通过奇异值分解表示为 Z = UΣV†，其中， U 为幺正矩阵，V †是幺正矩阵 V 的复共轭转置，这两者可通过光学分束器和移相器实现；Σ为对角矩阵，可通过光学衰减器实现。

2017年，Shen等[60]提出了一种全ONN架构，通过在相干硅光子集成电路中级联56个可编程MZI实现创新突破，其结构如图5（b）所示。这项开创性研究为2019年全球首个光学AI加速器原型的问世奠定了理论基础。2021年，研究人员进一步开发出名为光子算术计算引擎（PACE）的全集成光子计算平台，该平台集成了超过10 000个光子器件，系统时钟频率达到1 GHz。在特定计算任务中，PACE展现出比Nvidia RTX 3080 GPU高达100倍的性能提升[71]。随着相干硅集成电路中MZI单元集成密度的不断提高，光子加速器的实际应用正面临着噪声水平上升的限制。光子器件中固有的噪声源会显著降低系统的有效比特分辨率，从而影响推理过程中的计算精度。为提升系统抗噪性能，自动配置算法[107]和噪声感知训练方法[108]已被证明有效。此外，量化感知训练[109]和动态精度推理[110]也能缓解有限比特分辨率带来的影响。MZI单元数量的增加还会导致高速调制下的时钟同步问题，这使得基于MZI的光子加速器难以实现更高的计算密度。同时，电I/O接口在能效、延迟、传输距离和带宽密度方面的限制，也成为发展高吞吐量计算互连的关键瓶颈。MZI架构本身还存在单元尺寸较大和相位调谐能耗较高等问题。这些挑战共同制约着大规模硅光子计算电路的发展。最近提出的创新策略通过减少MZI单元数量，采用集成超紧凑衍射单元实现傅里叶变换操作，为开发可扩展、高能效的硅光子芯片提供了新的技术路径[111]。

除基于MZI并利用相干输入光多路径干涉的结构外，另一类重要的光子集成电路采用WDM技术，其工作原理如图5（c）所示。WDM技术通过波长与矩阵元素之间的直接逐元素对应关系实现乘法与加权互连，无需进行矩阵分解。微环谐振器（MRR）权重库的相关研究建立了集成光子滤波器与加权加法运算之间的关联，推动了硅光子集成电路中模拟信号处理功能的发展[112]。Tait等[113]提出了一种由MRR权重库配置的WDM广播与加权协议，该协议实现了光子脉冲神经元间的大规模并行互连。在此基础上，研究人员进一步提出并制备出采用PCM单元与MRR的全光脉冲神经元电路，如图5（d）[61]所示，该进展为构建具有高速信号传输和高带宽特性的光学神经形态系统提供了重要路径。尽管基于WDM的光子集成电路在并行信息处理方面具有显著优势，但实现高集成度仍面临严峻挑战。由于系统复杂性较高，WDM方案在规模扩展时所需的精确校准与控制难度远大于单波长方案。近期研究提出了一种微梳驱动的芯片级光子处理单元（PPU），并开发了专用控制协议，为面向工业应用的全集成PPU迈出了关键一步[114]。此外，也已成功实现具有高信噪比的微梳光源，这类光源在基于WDM的并行光子神经形态计算中具有重要应用价值[115]。

3.2.2 基于自由空间光学的光子计算

除了基于集成相干光学的实现方案外，研究者也致力于根据标量衍射与散射理论构建多种不同的ONN架构。通过使用各种全息光学元件、SLM及透镜系统来执行大规模复杂计算，这类系统提供了一种独特的光学深度学习引擎，能够以高速、高能效的方式运行。作为自由空间ONN架构的代表，衍射光学神经网络（diffractive ONN）采用多层衍射表面在物理上实现确定性任务与统计推断，其工作原理如图6（a）所示。衍射层之间复光场的自由空间传播可基于瑞利-索末菲衍射方程进行建模：

Stlα,β,γ=γ-γtr212πr+1jλexp j2πrλ

式中，t表示位于(αt, βt, γt )的第t个网络层中的第t个神经元。Stl (α, β, γ)表示位置(α, β, γ)处的复光场，可视为由位于(αt, βt, γt )处的波源所产生的次级波。其中，r =(α-αt)2+(β-βt)2+(γ-γt)2，虚数单位j = -1。γ-γt 表示相邻衍射层之间的距离，λ为波长。神经元的透射系数 τ 可在训练过程中通过误差反向传播算法进行迭代调整，并满足以下关系：

τtlαt,βt,γt=Atlαt,βt,γtexp jΨtlαt,βt,γt

式中，Atl与Ψtl分别表示振幅项与相位项。第l层中第t个神经元的输出函数Qtl可表示为：

Qtlα,β,γ=Stlα,β,γ⋅τtlαt,βt,γt⋅∑kQkl-1αt,βt,γt

式中，∑kQkl-1αt,βt,γt表示第l层第t个神经元的输入波总和，下标k代表第（l-1）层上的神经元索引。

如图6（b）[68]所示，2018年研究人员首次报道了一种工作于0.4 THz波长的全光学衍射深度神经网络（D2NN），该系统通过全光计算实现了高级图像识别与分类任务。此后，多种D2NN设计方法被提出，以提升全光信息处理能力、改进推理精度并拓展工作波段范围。研究表明，D2NN解空间的维度与其神经元数量和衍射层数呈线性比例关系[116]。计算模拟与物理实现之间的偏差制约了自由空间衍射处理器实现理论最大精度的能力，为此，已采用多种优化策略来提升系统性能，如提高失配容差[117]和增大菲涅尔数[118]等。除了将D2NN的工作波段从太赫兹扩展至可见光[119]之外，研究人员还提出了可处理连续波长谱的宽带网络设计[120]。波长复用方案的引入显著提高了全光计算的吞吐能力[121]，并支持高精度并行多任务处理[122]。在结构优化方面，学者们积极探索了D2NN的多种变体与改进方案。例如，在傅里叶空间进行调制，采用4f系统并在傅里叶平面布置衍射层，相比实空间调制方式，能够实现分辨率更高的图像到图像推理[123‒124]。

在此类衍射ONN框架中，训练过程通常依赖电子计算机进行物理实现设计。计算机模拟训练具有较高的计算复杂度，导致系统可扩展性受限且训练时间较长。为克服这些限制，2020年研究者基于光互易性和相位共轭原理，提出了一种采用级联SLM对衍射ONN进行原位训练的方法，显著提升了核心计算模块的训练速度并增强了能效[125]。针对静态D2NN（一旦制备完成，其结构与功能即固定）的局限性，可重构衍射处理单元[69]应运而生。该类单元可通过级联或嵌套方式适配多种D2NN架构，适用于现实场景中的智能多通道处理任务[126]及节点/图分类任务[127]。当前D2NN架构仍面临一项重要技术挑战：其通常依赖体积庞大、成本高昂的光学组件，这些组件不仅占用空间大，而且制造精度也有限，因此难以扩展到包含大量神经元的复杂网络结构。

近期研究表明，散射介质在功能上类似于D2NN中的衍射调制层，可视为一种特殊形式的光学神经网络实现。基于光散射的ONN架构如图6（c）所示，该架构通过波-物质相互作用，实现了更紧凑的设备形态。介电粒子内部的无序排列可提供大量神经元连接，支持包括储备池计算（reservoir computing）和计算成像在内的大规模随机矩阵运算。基于该原理，研究人员设计出一种搭载肿瘤球体的生物光子随机光学学习机，用于检测癌症形态动力学——该系统以数千个细胞作为波混合节点，构建出大规模计算储备池[128]。图6（d）[129]展示了另一项利用散射介质进行光子计算的实例。研究证明，超小尺寸散射体能够以连续、无分层的方式执行人工神经推断，并具备超高的计算密度。

尽管全ONN为应对电子神经网络中计算成本高昂的挑战提供了一条富有前景的路径，但光学非线性激活的实现仍是一大难题。一种结合光学与电子神经元协同处理的混合光电计算架构应运而生，可被理解为一种“光学编码器-电子解码器”系统。传统机器视觉系统通常先通过图像传感器记录场景，再借助电子神经网络对信息进行解码并执行推理任务[130‒131]。在此基础上，混合光电计算系统使用光学计算系统替代传统成像光路，作为与后端电子神经网络集成的模拟前端处理器。图6（e）[132]展示了一种用于图像分类的混合光电计算系统示例，该系统在电子计算之前引入了光子计算层，以显著节省计算成本。此后，研究者致力于设计多种混合光电神经网络，利用光学系统进行预处理，再通过电子平台处理所记录的数据，该类系统已成功应用于可编程传感[133]、机器视觉[134‒135]及轨道角动量（OAM）频谱测量[136]等人工智能应用领域。

3.3 总结与展望

深度学习为计算光学注入了新的活力，而光子学技术则借助光的独特属性推动高性能AI计算架构的发展。深度学习的不断进步显著优化了前端光学系统设计与后端数字处理模型。通过深度学习进行光子学设计，不仅为纳米光子器件和光学系统带来了创新性的设计策略，也大幅提升了设计效率。各类深度学习模型已被广泛应用于计算成像与传感、光学存储和光纤通信等领域，持续推动其性能边界向前拓展。然而，计算光学中的深度学习仍面临一些关键挑战，包括训练数据获取困难、模型泛化能力有限、大规模网络训练的复杂性，以及对光学参量的高精度控制需求。这些都迫切要求构建更适用于该领域的网络架构。在神经网络硬件实现方面，集成光子学与自由空间光计算架构显示出了巨大潜力，能够将深度学习运算速度提升数个数量级，并显著降低能耗。目前，基于光电器件的前馈[60]、循环[137]与脉冲[61,138] ONN已取得重要进展。未来的研究需聚焦于使用多级联MZI单元和WDM技术的光子集成电路，以进一步扩展计算规模并提升系统集成度。尽管自由空间ONN架构能够充分发挥光传播的并行性和光场调制的灵活性，但其可扩展性仍受到限制。因此，以光子计算替代传统电子深度神经网络，正逐渐成为实现低延迟、高能效、强泛化能力网络系统的重要技术路径。可以预见，深度学习的未来必将与光子紧密相连。

4 智能光子学中的超构光学

结合人工智能的智能视觉系统能够提取人眼无法直接感知的光学信息，如相位与偏振等。然而，传统光学组件通常体积庞大，难以在小型设备中实现先进功能[139]。如何在保持视觉系统紧凑轻量化的同时实现卓越的视觉性能，已成为光学工程领域面临的一项重大挑战。超构光学的出现为突破当前瓶颈提供了可行路径，推动实现了兼具小型化尺寸与灵活光场调控能力的新一代视觉技术[140]。近年来，超构光学作为一门新兴学科迅速发展，其核心是利用具有可调谐特性的超材料（metamaterials）实现对光场的精确操控。超构光学与超材料的进步，使我们能够以超表面（metasurfaces）——一种由纳米结构构成的光学薄膜——替代传统笨重的光学组件[141]。超表面由按特定方式排列的“超原子”（meta-atoms）纳米结构组成，通过设计其几何形状、尺寸、方向与排布，可实现对光-物质相互作用的增强调控，从而提供丰富的光学功能。与传统的反射、折射及衍射光学元件相比，超表面具有超紧凑形态、低吸收损耗、易于制造与集成，以及对光场高度灵活的控制能力等突出优势[142]。这些特性使其在可调谐结构光[143]、激光雷达（LiDAR）[144]、全息技术[145]、先进成像[146]和高速通信[147]等多个领域取得重要突破。在超光学物理机制的支持下，由超表面构建的超器件展现出超轻量、超紧凑、小像素间距和宽带工作等特性[148]，其中包括超透镜（metalenses）[149]、显微镜盖玻片[150]和生物传感器[151]等。超表面的高度集成性也使其能够与其他标准光学元件实现混合集成[152]，从而为构建面向未来的颠覆性光学平台奠定了基础。

4.1 深度学习赋能的超表面

在超表面不断发展的过程中，AI已成为推动数字信息领域前沿发展的强大工具，并迅速渗透到超构光学领域[153]。超构光学与AI的发展历程如图7所示[68‒69,154‒161]。超材料的早期开创性研究可追溯至1968年[154]，但对该领域的广泛研究始于1996年[155]。作为早期重要研究提案之一，Capasso研究团队[156]于2011年提出了基于等离子体V形天线的超表面，且实验证实该超表面呈现出与广义斯涅耳定律一致的异常反射和折射现象。与传统光学元件依赖沿光路积累渐变相位偏移不同，这类超表面能够在两种介质界面处对传播光施加相位突变，从而为光波前调控提供了极高的灵活性。此后，科研人员围绕超表面的新型设计展开探索，涉及几何相位[162]、动态传播相位[163]等不同类型的相位调制方式。由于这类功能单一的超表面无法满足多功能光子平台的需求，学界对多功能超表面的研究兴趣日益浓厚，相关研究包括偏振复用超表面[164]、波长复用超表面[165]以及超表面与其他新型材料的复合[166]等，旨在实现光场的多通道调控，为生物医学、计算科学和量子领域应用提供多功能支持。

传统超表面因其静态拓扑结构，仅能实现特定或有限范围的电磁功能。为研发可实时操控电磁场的可编程超表面，数字编码超表面的概念于2014年被提出[157,167]，这一概念为超表面物理学与数字信息之间搭建了桥梁。Della Giovampaola和Engheta [167]开发了一种结构设计方法，通过两种精心选取的单元材料的空间混合构建超材料字节，但该方法仍局限于对介质参数进行可比较的数字描述。与之不同的是，Cui等[157]提出利用具有相反相位响应的数字编码（而非介质参数）来表征超表面，这一创新使其能够与数字信息流建立关联。在FPGA硬件的数字指令控制下，所提出的实时可重编程超表面可同时实现电磁波调制与数字信息处理，进而发展成为超表面的一个新分支——“信息超表面”。此后，科研人员在信息超表面领域开展了大量研究，包括拓展编码形式[168]、编码维度[169]和工作频率[170]，以及实现OAM发生器[171]、空间调制器[172]、无线通信系统[173]等各类应用。

在AI领域，神经网络的构想早在1943年就已提出[158]，而机器学习的近期复兴始于20世纪80年代左右。自2006年深度学习算法取得突破性进展[159]以来，超构光学与AI的融合一直是研究热点。传统超表面建模与设计方法依赖数值算法优化结构参数以实现预期性能，过程往往十分耗时[174]。深度学习的出现为超表面结构与功能的建模和设计提供了全新框架。图8（a）[175]中的模型展示了如何利用深度学习模拟光与超原子的相互作用，进而实现性能预测。图8（b）[176]呈现了一种可应用于整个电磁频谱范围内各类超表面器件设计的深度学习方法。多项研究已证实，借助深度学习可实现超原子[177]和超表面图案[178]的智能化设计。此外，在高效DNN架构的支持下，超透镜的设计与优化可赋予其更多功能[179]，包括宽视场（FOV）、像差校正和高数值孔径等特性。

除用于超表面和超器件的自动设计外，深度学习处理海量数据的卓越能力还可应用于超表面接收信息的处理，涵盖图像分析[180]、红外吸收光谱[181]、微波信号[182]等领域。此外，AI技术正逐步融入可编程超表面的重构控制中，推动智能超表面系统的发展。Li等将机器学习技术与数字编码超表面相结合，实现了实时成像[160]和高质量识别[183]，这一成果有望为未来人机智能接口的研发开辟新方向。受此启发，图8（c）[184]展示了通过深度学习灵活控制可编程超表面，实现自动目标跟踪与无线通信的应用场景。总体而言，AI技术不仅能够改进和加速超表面的建模与设计过程，还可为超表面的数据分析和智能调控提供支持。

4.2 超表面使能的光学神经网络

随着AI的快速发展，计算能力的指数级增长对具备高计算性能和低能耗的先进计算硬件提出了迫切需求。鉴于光子的固有特性，用于全光AI的光子器件研究受到广泛关注。具有小型化特征的超表面已被应用于全光计算[185]，在ONNs构建中替代传统大体积光学元件具有巨大潜力。2014年，Silva等[186]证实超表面可用于执行空间微分、积分、卷积等多种数学运算，且无需模数转换或产生其他系统延迟。这项研究激发了众多关于利用超表面实现光学模拟计算的理论研究与实验验证[187]，这些计算技术可应用于波前工程[188]、非线性运算[189]、实时边缘检测[190]等领域。

超构光学在全光信息处理方面的功能，为基于超表面构建新型ONNs架构提供了支持。已有研究提出采用级联多层超表面模拟DNN中隐藏层功能的设计策略，其原理如图9（a）所示。需注意的是，超表面包含密集的亚波长超原子阵列，每个超原子可视为一个活性人工神经元，并依据光的衍射理论[57]与后续层中的其他超原子建立连接。基于这一原理，Qian等[70]于2020年开发了一种由复合超表面构成的衍射神经网络，该网络可用于执行逻辑运算，具体如图9（b）所示。

除利用超表面基ONNs执行数学运算外，科研人员还开发了另一种高密度集成的神经形态超表面结构，该结构借助超构光学平台实现神经计算，能够完成手写数字识别任务[191]。在近期一项研究中，全光D2NN [68]由被动结构构建，其功能在制造完成后即固定，这限制了其被重新训练以适应其他目标和任务的可能性。为研发先进的衍射光学平台，科研人员构建了一种可编程、可重新训练的基于波的D2NN架构，该架构可直接处理电磁波，以应对波传感、识别、无线通信等各类智能任务[161]。与利用反射型SLM实现光电D2NN的研究[69]不同，这种可编程透射型D2NN结构采用多层数字编码超表面阵列，如图9（c）[161]所示。此外，超表面具有超薄、超平坦的特性，仅占据系统体积的极小部分，这一优势有助于实现片上集成的ONNs结构。如图9（d）[192]所示，一种与成像传感器集成的超表面赋能片上复用衍射神经网络已被提出，该结构为可见光范围内的多通道传感和多任务处理提供了芯片级解决方案。综上，具备灵活光场调控能力和高集成度的超表面，在推动全光衍射神经网络发展方面具有巨大潜力。

超表面基ONNs研究的另一方向是融合超构光学与电子学的优势。近期有研究指出，超表面可作为基于深度学习的神经网络的光学前端单元，进而构建超表面基光电架构[193]。如图9（e）所示，这种架构可分为基于超表面的物理层（用于编码相关信息）和基于深度学习的数字层（用于后续信息解码）。如图9（f）[194]所示，作为物理层工作的可重构超表面收发器，能够对场景信息进行编码，以便后续通过机器学习进行分类。研究证实，一种具有单层全介质超表面的混合光电神经网络（图9（g）[195]）可有效扩展神经网络容量。光学前端与电子后端的联合优化，在处理海量数据的速度和准确性方面，表现优于全电子神经网络。

4.3 总结与展望

综上所述，超构光学与AI技术的融合已推动两个领域取得显著进展。过去几年中，AI在超构光学领域得到广泛应用，涵盖超表面建模与设计、超表面数据高效分析以及智能可编程超器件研发等方面。除AI赋能超构光学外，超表面通过合理设计超原子可实现全光计算，这对于研发高性能神经网络计算硬件至关重要。近年来，基于超表面的全光及混合光电神经网络引发了广泛研究兴趣。传统光学元件体积庞大且难以集成，限制了ONNs功能的拓展。而超器件具有超薄、轻量化、结构紧凑且易于集成的优势，为解决传统光学元件的缺陷提供了有效方案。因此，超表面技术的成熟为探索更紧凑、可编程的ONNs模型注入了新活力。

然而，构建可用于大规模商业应用的超表面基神经网络仍面临诸多挑战[196]。超表面的可调谐性使其能够实现自适应响应，而其可重构性则允许超表面基ONNs根据测量响应实时调整，以适应各类任务需求。但由于超表面基ONNs的可调谐性和可重构性有限，目前仍无法实现原位网络训练。此外，当光穿过多层超表面结构中的各计算层时，信号强度会逐渐衰减，这一问题限制了复杂网络模型的实现，进而影响超表面基ONNs架构的推理能力与精度。同时，网络性能还受到超表面纳米单元制造精度和级联超表面对准精度的影响。随着对超表面基先进智能光子学技术探索的不断深入，当前这些不足将逐步得到解决。总体而言，AI与超构光学的融合有助于突破ONNs计算硬件性能的瓶颈，从而实现更复杂、更智能的任务。

5 智能光子学中的全息技术

全息技术能够将光场记录为全息图，并在后续过程中实现光场重建，从而真实还原所记录的三维（3D）场景。全息图本质上是一种干涉图样，通过物光波与参考波的相互作用，对物光波前的振幅和相位进行编码。自Gabor [197]、Leith和Upatnieks [198]以及Denisyuk [199]开展开创性研究以来，全息技术已发展成为一项在光学成像[200]、三维显示[201]、全彩显示[202]、光学计量[203]、数据存储[204]等众多领域具有变革潜力的技术。得益于计算机技术的兴起以及SLM和成像传感器的不断成熟，波前采集与波前重建均可通过光学或数字手段实现。其中，通过数字传感器进行光学记录，并借助数值计算实现数字重建的全息技术，被称为数字全息技术[205]。全息波前记录主要有两种方法[206]：在同轴全息技术中，衍射物光波与参考波的轴线平行，这种同轴结构可实现全带宽利用且具有高相位灵敏度，但重建质量易受离焦孪生像伪影重叠的影响；与之相对，离轴全息技术通过引入具有倾斜角度的参考光束，有效解决了孪生像问题，不过该方法同时牺牲了空间带宽积。为融合两种方法的优势，研究人员提出了一种结合同轴与离轴全息图的耦合结构，以实现高分辨率和全场重建[207]。此外，通过数值计算生成全息图并以光学方式重建物体的全息技术，被称为计算全息技术（CGH）[208]。计算全息图的常用生成方法包括迭代投影算法（如Gerchberg-Saxton算法[209]）和非凸优化算法[210]等。

5.1 深度学习赋能的全息技术

深度学习的蓬勃发展为数字全息技术和CGH带来了新范式。数字全息技术可解决逆成像问题，从记录的全息图中恢复振幅、相位、偏振和光谱等信息。以往基于物理驱动的方法（涉及衍射计算和正则化设计启发式）不仅耗时，还需大量人工干预[211]。而新兴的基于深度学习的数据驱动方法突破了这类物理基算法的局限，被证实是执行数字全息任务的高效工具，具有图像质量优异、实时性强、成像系统复杂度低等优势[212]。图10 [35,213‒214]展示了深度学习赋能的数字全息技术、CGH及超表面全息技术的原理与应用实例。基于深度学习的数字全息成像原理如图10（a）所示：图像传感器光学记录的二维（2D）全息图被输入至训练完成的DNN，进而获得优化后的重建结果。图10（b）[35]呈现了一个深度学习赋能的数字全息重建实例，该实例采用训练后的卷积神经网络实现相位恢复。此外，深度学习在深度估计[215]、分辨率增强[216]、噪声抑制[217]、相位解包裹[218]、物体分类[219]等领域的应用也引发了广泛关注，为数字全息技术的显著发展开辟了道路。

CGH可实现具有高空间-角度分辨率的三维投影，这一特性对直视显示器以及VR/AR应用产生了深远且广泛的影响。由于菲涅耳衍射模拟需要巨大的计算成本，现有基于物理的CGH算法在实验实现的图像保真度与计算速度之间存在明显的权衡，这从根本上阻碍了动态全息技术的实际应用。自Horisaki等[220]成功设计出用于快速生成全息图的DNN以来，大量研究致力于通过设计DNN模型，推动高分辨率全息图的高速生成。图10（c）展示了基于深度学习的计算全息显示原理：采用不同深度学习框架生成全息图，将其上传至SLM，随后通过光学方式实现重建显示。

目前，基于学习的CGH主要分为数据驱动深度学习[220‒221]和模型驱动深度学习[213,222‒225]两类。数据驱动深度学习方法能够有效加速训练数据集以外的全息图生成过程，但该方法需要预先利用传统迭代算法生成包含目标图像和全息图的大规模数据集，这一过程消耗大量计算资源和时间。此外，这种监督学习方法通过计算输出全息图与标签全息图之间的损失函数来训练神经网络，其输出性能受限于训练样本的类别和数量。

为解决上述挑战，模型驱动深度学习将逆问题的正向过程模型作为约束，以无监督方式训练网络[222]，通过计算输出重建结果与图像数据集之间的损失函数实现训练，无需标注数据集。近期，Peng等[223]开发了一种“相机在环优化”策略，通过使相机捕获的重建结果与目标图像匹配，实现全息图优化。该方案使得利用相干和部分相干光源实现无散斑全息技术成为可能[224]。为突破全息图数据集大小和质量的限制，研究人员设计了一种基于自动编码器的神经网络，可在0.15 s内生成高保真度全息图[225]。图10（e）[213]所示的4K衍射驱动网络融合了残差神经网络和亚像素卷积技术，能够为三维和彩色显示生成4K分辨率全息图。Shi等[226]提出了一种物理引导的深度学习流程——“张量全息术”，以解决图像质量与计算速度之间的权衡问题。对基于深度学习的全息流程的进一步探索，有望推动无散斑、实时、高逼真度、高分辨率三维全息技术的发展。

超表面正为全息图设计开辟新前沿[142]。SLM、数字微镜器件（DMD）、全息元件等光子器件存在明显缺陷，如光场调制能力有限、像素尺寸较大，导致全息图分辨率低、视场窄、存在不期望的高阶衍射及孪生像问题。相比之下，超表面具有亚波长像素尺寸，且为任意调制光场的各类参数提供了极大的设计自由度。凭借这些优越特性，超表面在生成具有超高空间分辨率、高精度、宽视场、宽工作带宽且仅包含期望衍射级次的重建图像方面展现出巨大潜力[145]。科研人员已围绕不同调制机制开展了大量超表面全息技术（meta-holography）相关研究。此外，基于复用技术的动态超表面全息技术新兴研究，旨在优化空间带宽积并提升超表面全息图的信息容量[227]；三维集成超表面器件的研发则为实现全彩全息技术提供了可能[228]。然而，现有用于超表面基全息图设计的迭代算法耗时严重，阻碍了动态全息成像在实际场景中的应用。

AI技术为快速探索超表面全息图的最优设计参数提供了可能[214,229]。基于深度学习的超表面全息技术原理如图10（d）所示：深度学习可根据目标图像快速生成全息图，并通过控制每个超原子的参数，将全息图每个像素的信息编码到超表面上。图10（f）[214]展示了基于深度学习的超表面全息图优化逆向设计方法，通过建立超原子物理响应与几何参数之间的映射关系，深度学习能够提高设计精度与效率。

5.2 受全息技术启发的神经网络

除AI技术赋能全息技术外，全息技术也已成为实现ONNs的重要途径。全息图能够在特定时空点记录光场，并在后续过程中用于恢复携带光学信息的三维光场。这一独特特性使得捕获的全息图非常适合在ONNs中实现数据的捕获、存储与传输[230]。早期，基于全息技术实现全连接神经网络的研究引发了广泛关注。如图11（a）所示，全息神经网络采用多层面平面互连全息图实现二维神经元阵列的互连，位于全息图每个像素处的神经元对来自前一层的入射光进行调制，随后与下一层的所有其他神经元建立连接。光折变晶体作为一种实时记录材料，已被证实可用于构建全息神经网络[231]。这种动态非线性晶体能够在平面排列的神经元之间建立自适应约束，且本质上属于三维器件，可存储海量权重[232]。然而，由于模拟权重控制难度大，难以实现大型ONNs的可靠管理[105]，学界对全息神经网络的进一步研究兴趣受到限制。近年来，得益于AI、光学调制器及制造技术的显著进步，利用全息技术实现神经网络的理念再次受到关注。

近期研究主要聚焦于通过纳米制造技术（包括三维打印和纳米光刻技术）实验实现D2NN中的衍射表面。图11（b）[68]所示的纯相位全息图属于衍射光学元件（DOE），可通过训练用于特定推理任务的五层D2NN进行设计。包含20万个神经元的衍射表面通过轴向离散距离逐层三维打印而成。研究人员利用双光子纳米光刻技术在成像传感器上打印出紧凑型D2NN，其神经元密度高达每平方厘米6.25亿个，能够直接检索基于泽尼克多项式的瞳孔相位分布[233]。然而，这些已制造的衍射光学处理器无法通过编程实现多样化功能。利用SLM等可编程器件对全息图进行编码，为构建可重构光电神经形态处理器提供了思路，如图11（c）[125]所示。这种可重构处理单元包含数百万个神经元，并且允许为D2NN的每一层添加非线性功能，从而实现了不同网络架构的灵活设计[69]。目前，已有多种衍射光学处理器被研发出来，并在生物医学成像[234]、安全监控[235]、电信[236]等领域得到应用。

尽管全息神经网络发展迅速，但在可扩展性、计算精度和非线性激活实现方面仍面临关键挑战[196]。

衍射光子处理器的大规模神经元设计受到神经元尺寸、现有制造技术和数值模拟的限制。例如，为调制可见光或红外波长，衍射表面中的衍射神经元尺寸必须大于100 nm，而最先进的芯片制造工艺已接近2 nm水平。与最先进的晶体管相比，衍射神经元尺寸更大，这为研发可扩展光子处理器带来了挑战。此外，衍射光学元件（DOE）层中的每个像素代表一个神经元，减小神经元尺寸会增加制造难度。受计算速度和内存限制，大规模衍射神经网络的精确建模与设计仍面临困难。由于模型复杂度较低，且设计、制造和测量过程中存在误差，衍射光子处理器的推理精度尚未能与现有电子处理器媲美。DNN的非线性特性对其计算精度和准确性具有显著影响。在衍射光学处理器中，通常利用传感器近似线性整流单元（ReLU）函数来实现非线性[233]，其他非线性激活方法还包括使用光折变晶体[123]、图像增强器[237]或光电二极管阵列[238]等。然而，这些策略可能会增加系统复杂性和能耗。未来对更优材料平台的探索，有望为光子处理器中的光学非线性问题提供的新解决方案。

5.3 总结与展望

如上所述，深度学习和超表面正推动全息技术取得进一步突破，而全息技术的发展也使其成为实现ONNs的主要方法之一[58]。将深度学习算法与超构光学融入全息技术，有助于充分释放全息技术的潜力，为高速生成高保真度三维图像奠定基础。为减少神经网络对训练数据集数量和质量的依赖，需要研发更先进的深度学习模型。在受全息技术启发的神经网络方面，D2NN中全息图的实验实现可依赖纳米制造技术或可编程器件。值得注意的是，研发在计算精度和推理能力上能与电子处理器竞争的可扩展光子处理器，在制造和光学非线性方面面临明显限制。先进的纳米制造技术对于实现更小尺寸神经元的制造至关重要。在利用SLM实现衍射表面方面，当前SLM的像素间距、像素数量、调制能力和帧率仍需提升，以实现更高的神经计算可扩展性和可重构性。与SLM相比，超表面具有亚波长级像素尺寸，并能实现多维光场调制，且分辨率更高、噪声更低。随着纳米制造技术的不断发展和成熟，超表面全息图有望成为高性能ONNs的有力候选方案。此外，高效的光学非线性、紧凑的结构形态和低能耗特性，将有助于提高衍射光子处理器的统计推断精度和函数逼近能力。

6 智能光子学中的量子光子学

过去几十年间，基于量子力学的量子信息科学不断发展，旨在实现信息编码、传输和处理方面的增强能力与功能。作为一种极具前景的量子技术，量子计算借助多粒子量子波函数的全部复杂性，解决经典计算机难以处理的计算问题。目前，科研人员正致力于在光子、核磁共振、离子、原子等多种系统中实现量子计算的物理构建，其中，光子量子比特是量子信息的理想载体[14]。这是因为光子对其他量子系统常见的噪声和退相干具有显著的抗干扰能力，且可在多个自由度上进行编码[239]。尽管早期研究方案发现通过操控光子易于实现单量子比特门，但由于难以在足够强度下实现光学模式间的非线性耦合，实现通用多量子比特控制所需的光子相互作用仍面临挑战。2001年的一项重大突破表明，线性光学足以实现光子的高效量子信息处理[240]。基于线性光学的量子门可通过高效架构和容错编码，以任意高的保真度实现。然而，这种利用线性光学器件的量子计算范式仅允许概率性测量，无法产生确定性结果[241]。此外，由于参量下转换光子源效率低且存在桶式光子探测器，该技术在实际场景中缺乏可扩展性。因此，研发先进的单光子源、光子探测器和量子存储器，以实现可扩展的线性光学量子计算，成为当前研究的重点方向[242]。

鉴于光学量子计算有望在解决特定经典计算机难以处理的任务时实现指数级计算加速，关于实现量子计算机的研究提案迅速增多。过去几年中，科研人员投入大量精力研发光子量子计算机，并不断提供更具说服力的量子计算优越性证明[59,243‒244]。2020年，潘建伟团队[59]成功构建了名为“九章”的新型光量子计算机，该计算机使用最多76个探测光子和一个100模式超低损耗干涉仪执行GBS任务，借助光子实现了量子计算的优越性。在此基础上，2021年研究人员报道了基于受激压缩光子发射原理的“九章2.0”，该版本支持相位可编程GBS，并在144模式光子电路中实现了最多113个光子探测事件[243]，其在解决采样问题上的效率显著优于经典计算机。随后，Madsen等[244]报道了一种名为“Borealis”的光子处理器，该处理器利用216个独立量子系统实现了量子计算优越性，并能在所有已实现的逻辑门上提供动态可编程性。除持续研发更大规模、更高保真度和完全可编程的GBS系统外，科研人员还探索了这些量子设备在解决实际问题中的有效性。2023年，研究人员利用一台含噪声中等规模光量子计算机，展示了GBS对解决图问题的随机算法的增强作用[245]。

6.1 赋能量子光子学的AI

随着量子技术的快速发展，光子量子系统的复杂性不断增加，产生了海量数据，这对自动化数据处理提出了迫切需求。AI正推动量子技术探索形成新范式，多种AI算法在解决量子光子学领域的挑战性问题时展现出独特优势。在量子光学测量方面，传统方法需要较长的数据收集时间以获取完整数据并确保重建准确性。与传统统计方法相比，AI凭借自学习特性，能够实现更快速、更精确的量子测量。图12（a）[246]展示了一种用于空间高维量子态（空间qudit态）测量与制备的实验装置，其中，通过训练监督神经网络过滤量子光学实验数据，提高量子态重建的保真度。此外，AI还可辅助测量光场的量子统计特性，实现超越阿贝-瑞利分辨率极限的智能量子统计成像[247]。

AI在量子光子学领域的另一重要应用是借助深度学习辅助高效设计多功能、多约束量子光子器件。图12（b）[41]展示了一种在量子纳米光子学中采用全连接神经网络的逆向设计流程，该流程将纳米光子学的逆向设计工程拓展至量子领域，为量子器件设计提供支持。此外，AI已成为实现量子实验自动化的重要途径。图12（c）[248]所示的自主学习模型能够自主探索新的量子实验方案，旨在创建和操控复杂量子态。综上，凭借实时数据处理和高性能计算能力，AI正为量子光子学注入新活力，实现量子光学测量加速、量子器件高效设计以及量子实验优化的自主学习。

6.2 赋能AI的量子光子学

在深度学习快速发展的推动下，近年来AI应用实现了跨越式增长。然而，对计算资源需求的快速增长不可避免地超过了经典计算硬件的发展速度，这将限制未来AI的进一步突破。实践证明，量子计算机能够实现超快并行计算，具备处理经典计算机无法在合理时间内解决的大规模复杂任务的能力。此外，在执行线性代数运算以及利用纠缠、叠加和干涉等非经典效应方面，量子计算相比经典计算模型具有潜在优势。但基于量子比特（qubit）的量子计算机并非完全连续系统，因为其量子电路的测量结果通常是离散的。近期，研究人员在连续变量模型中构建了量子神经网络，这类网络在连续自由度（而非量子比特）中编码量子信息。目前，已有多种专用神经网络（如残差神经网络、卷积神经网络、循环神经网络）的量子版本被提出[249]。基于这些基础，量子机器学习被视为缓解未来AI应用计算瓶颈的重要范式。

图12（d）[250]展示的量子ONN示例，融合了神经网络的通用性与光学量子系统的复杂性，在多种任务中其表现优于经典网络。该量子ONN的输入被编码为光子福克态pε，对应第ε个光学模式中的p个光子。v个模式中的k个光子可通过一个单位复向量描述，其维度为组合数k+v-1v。连续层之间的单点光学非线性包含单模克尔相互作用，可施加与光子数平方成正比的相位，表达式如下：

Ωψ=∑κ=0∞exp pκκ-1ψ2κκ

式中，Ω代表非线性层；ψ表示有效非线性相移；和为狄拉克符号（Dirac notation）。包含N层的总传递函数Γ表达式为

ΓΦ⃗=∏lNΩψ⋅Rθ⃗l

式中，R(θ⃗)代表由包含v(v-1)/2个相位偏移的向量θ⃗参数化的v模线性光学幺正矩阵，θ1 ∈ (0, 2π]，且Φ⃗为Nv(v-1)维向量。

随后，研究人员构建了量子光学卷积神经网络，该网络在未来计算机视觉应用中展现出显著的计算效率提升潜力[251]。量子态层析是一种通过测量量子态副本从已知量子态中重建量子信息的技术，对表征量子态的生成与保存至关重要。图12（e）[252]所示的量子态层析方案能够准确确定量子比特态的相位参数。ONNs与量子信息的融合，有助于实现高保真度的量子操作。除了基于理想组件的量子ONNs外，研究人员还对图12（f）[253]所示的非理想量子ONNs电路进行了研究，旨在为新兴大规模量子技术的发展提供指导。实践证明，量子计算能够满足AI对计算资源的迫切需求，为研发性能增强的AI系统开辟了新的可能。

目前，科研人员正积极探索量子光子计算在机器学习任务中的潜力，包括加速现有机器学习算法[254]和研发变分量子电路[255]等。然而，量子光子计算在实际规模下缺乏可行的基准测试方法，理论分析仍是评估其问题解决能力的主要手段。相比之下，强大的机器学习算法已在解决实际问题中得到应用，但在理论解释方面仍存在困难。因此，评估量子计算机对机器学习的实际支持能力具有挑战性[256]。通常，任意量子神经网络模型所需的信息比经典模型更多，且对量子优势的研究往往局限于特定的数据、模型和理论方法子集。由于能力有限[257]，量子神经网络需根据特定任务进行初始化或设计，无法利用量子计算机在量子数据域中直接训练。此外，机器学习算法的训练输入规模不断扩大，这对早期量子计算机而言难以处理；同时，源自人类社会的基础问题通常涉及比量子计算机当前处理任务更复杂的数学结构。因此，探索适用于量子模型的构建模块、搭建量子计算与经典学习理论之间的桥梁、开发用于实验扩展的量子软件解决方案等有效策略，将有助于充分挖掘量子计算对机器学习的潜在价值。

另一个备受关注的研究平台是与晶圆级制造工艺相结合的集成量子光子学，该平台以单光子作为量子信息的载体[62]。集成量子光子学利用光波导引导和控制光子，实现光量子态的生成、操控与检测[258]。自2008年首次演示集成量子光子逻辑门[259]以来，集成量子光子学在规模和复杂性上不断突破，有望研发出在毫米级尺寸上集成数千个组件且能生成多光子态的可编程器件。

目前，大量研究聚焦于实现高性能大规模集成量子光子电路。Arrazola等[260]制造了一种用于执行多光子量子电路运算的可编程纳米光子芯片，该器件具备动态可编程性，可扩展至数百个模式和光子，且能实现经典硬件无法高效模拟的一类量子电路。随后，研究人员在8 in（1 in = 2.54 cm）绝缘体上的硅晶圆上，制造了基于图结构的大规模集成纳米光子电路中的量子光子器件，集成了2500个组件，展现出任意可编程性、高度模块化架构和强大的制造可扩展性[261]。混合集成量子光子器件通过组装不同材料系统制备的光学元件，在克服单片集成局限性方面展现出巨大潜力[262]。尽管集成光子学能够为量子信息处理提供所需的技术功能和扩展能力，但集成光子器件在保真度、片上态控制和分析方面仍存在不足。当扩展至晶圆级规模时，工艺误差和参数变化会严重影响集成量子光子电路的精度[62]。为进一步提升集成量子光子平台的性能，将高度可编程的集成量子光子硬件与机器学习算法相结合，可能为补偿制造缺陷提供有效解决方案[263]。

6.3 总结与展望

光子学是量子技术的关键支撑。线性光学方法为利用光子实现高效量子计算提供了可行途径，尽管其结果具有概率性且可扩展性有限。“九章”“Borealis”等光子量子计算机的问世，充分展现了量子光子学在革新计算速度和效率方面的潜力。AI与量子光子学的交叉融合，推动了两个领域的快速发展。将AI算法引入量子系统，能够实现量子测量的快速精确执行、量子器件的高效设计以及量子实验的自动化优化；同时，量子光子计算也为实现神经网络和机器学习算法提供了新途径。然而，量子机器学习仍面临诸多挑战，如量子神经网络能力有限、许多应用的输入规模庞大、基础问题的数学结构复杂等。此外，集成量子光子学为量子通信和信息处理应用提供了兼具功能可扩展性、稳定性和可集成性的平台。光学量子计算领域的持续突破，将逐步推动光子量子计算机从原理验证演示迈向实际应用。

7 智能光子学的应用

AI在解决科学问题相关的挑战性任务方面展现出巨大潜力，这主要得益于海量数据集的可获取性、大规模并行计算硬件的支持，以及与能够识别基础特征的多层神经网络的结合。AI的进步正推动物理学和光学工程领域的范式转变，而将光子学融入AI模型，能够实现复杂任务的高效、低能耗处理。智能光子学作为融合物理学、工程学和计算机科学的交叉研究领域，随着深度学习算法和光子学技术的显著进步，已在元宇宙、生物医学、自动驾驶、先进制造、光通信、天文观测等多个领域得到广泛应用。智能光子学的相关应用如图13所示。

7.1 元宇宙

AI通过为用户创造更具沉浸感和交互性的体验（从构建逼真场景到支持自然语言交互），正在改变元宇宙平台。元宇宙相关技术（如全息显示、虚拟现实/增强现实）促进了虚拟与物理现实的融合，使用户能够与虚拟元素进行互动。近期研究表明，深度学习赋能的全息技术范式使三维矢量全息技术[264]和动态全息技术[226,265]走向实用化。借助深度学习，可实现结构紧凑、计算高效、低功耗的全息显示系统，该系统能在大视场上投射高分辨率图像[266]。虚拟现实/增强现实作为下一代显示平台，在未来元宇宙新兴数字经济和工业持续数字化进程中，有望促进更深度的人机交互，因此具有重要意义。AI赋能的虚拟现实/增强现实头戴式显示器能够实现实时、高逼真度、高分辨率的性能；同时，超表面赋能的虚拟现实/增强现实显示技术正处于研发阶段，以克服当前虚拟现实/增强现实设备因体积庞大而性能受限的问题[139]。综上，智能光子学技术正稳步推动虚拟现实/增强现实技术向更轻便、更小体积、更低功耗、更贴合用户直觉的方向发展。

7.2 生物医学

在生物医学领域，智能光子学技术为更多生物医学诊断和治疗方案提供了可能。例如，全光衍射网络能够实现即时图像重建和智能图像分析，有助于改进基于图像的诊断和图像引导治疗[237,267]。组织样本的显微成像可辅助诊断各类疾病，是病理学和生物科学研究的重要工具。借助智能光学显微镜，深度学习能够显著提高成像的空间分辨率和速度[85,268‒269]，进而提升医疗保健效率。

7.3 自动驾驶

在AI辅助交通领域，光子学技术目前已广泛应用于汽车行业供应链，从单纯的照明功能逐步拓展至为传感、成像和显示提供先进技术支持。例如，自动驾驶系统利用高速光学传感器阵列监测周围环境，并借助机器智能进行实时决策[270]，实现全景视觉、紧急避障、自动泊车、自适应巡航控制等功能。在ONN的支持下，可提取不同输入信号的特征，用于后续智能分析[33]。因此，实现高速、低能耗的目标自动检测、分类和跟踪对自动驾驶至关重要[184,271]。

7.4 先进制造

在先进制造领域，深度学习为光子结构、超材料和器件设计提供了高效方法，在实现具有独特光学功能的大规模光子设计方面展现出巨大潜力[5]。同时，深度学习也正在改变精密仪器的设计与制造，如智能相机[42]、传感器[96,272]、光纤激光器[273]等。这些智能光子学系统为构建智能工业环境提供了所需的传感和测量功能，而智能制造的发展正推动光子学系统向更广泛的应用领域拓展。

7.5 光通信

在光通信领域，基于AI的技术有助于预测和优化光通信系统与网络的性能。光子学赋能的光通信系统能够确保数据传输的安全性，例如，OAM检测技术为光通信的发展提供了支撑。利用智能光电处理器，可为基于OAM的信息处理提供强大且紧凑的平台，实现快速、准确、稳定的信息处理[136]。

7.6 天文观测

在天文观测领域，自适应光学技术通过实时检测和补偿畸变波前实现高质量成像，在地基望远镜中发挥着重要作用。为克服传统自适应光学系统面临的瓶颈，研究人员将衍射神经网络与自适应光学技术相结合，显著提升了自适应光学系统的实时性能和抗噪声能力[274]。

7.7 展望

总体而言，智能光子学正为我们生活的多个方面带来变革性进步，涵盖娱乐、医疗保健、交通、制造、通信、天文学等领域。近年来，智能光子学研究呈现快速增长的态势。随着技术的不断突破，智能光子学将逐步渗透到工业生产和人类生活方式中。目前，智能光子学技术已具备高效完成各行业复杂任务的能力，有望为日常生活提供更多便利。可以预见，智能光子学将在未来几十年内成为关键赋能技术。

8 讨论与展望

作为新兴的交叉研究与创新领域，智能光子学近年来取得了重大进展，对实际应用产生了变革性影响。AI与光子学之间富有成效的相互作用，激发了学界对智能光子学的研究兴趣。光子学系统负责生成和传输海量数据，而AI则从海量数据中提取知识并进行推断。在光子学领域，AI的应用重点在于利用深度学习优化光子结构、材料、器件和系统的设计，以及执行复杂的光学数据处理与分析。将AI融入光子学技术，将持续为解决光学问题开辟新路径，实现前所未有的处理速度提升，并揭示独特的光学效应与功能。AI的强大能力已在光子学界引发范式转变，引领光子学技术迈向更广阔的发展前景。尽管AI技术在光子学领域的应用取得了显著成功，但仍需解决数据收集负担重、网络泛化能力差、缺乏统一的网络设计与训练标准范式、可解释性不足等挑战[4]。

AI领域采用的传统电子计算方法正逐渐接近性能极限，难以满足数据处理需求的爆炸式增长。未来AI应用对强大计算能力的迫切需求，重新激发了光子计算的研究热潮。值得注意的是，超构光学、全息技术和量子光子学凭借其卓越的光学特性，在减轻电子AI系统负担方面展现出巨大潜力。光子学在AI中的应用通常聚焦于研发光子处理器，以克服计算速度和能耗方面的挑战。利用光子学概念、组件和材料构建执行AI算法的全光平台，将引领人类进入更智能的时代。

尽管光子学在通信领域已取得巨大成功，但研发可与当今主流计算平台中先进电子计算系统相媲美的通用光子计算系统，仍面临巨大挑战。核心难题在于如何构建能够充分发挥光学优势的计算框架。挑战之一是当前的ONNs主要通过电子计算机进行计算机模拟训练（in silico training），以获取物理实现所需的设计参数，随后的推理任务才通过光学方式完成。这种计算机模拟网络训练模式不仅训练时间长、可扩展性有限，还会导致推理精度降低。近期，在网络训练方面的探索已在实现反向传播的光子学原位训练方面取得实质性进展[125,275]。未来需进一步研究开发能够实现实时训练，并通过光学方式同时执行训练和推理过程的网络架构。另一个挑战是在ONNs框架中实现非线性激活功能。光子神经形态处理器中使用的非线性激活机制与传统深度学习中的机制存在差异，这种差异导致此类架构的训练过程收敛缓慢且不稳定。目前，研究人员已探索了自适应初始化[276]、方差保持初始化[277]等多种训练方案，以克服训练难题。

此外，非线性激活作为神经网络不可或缺的组成部分，在光学领域难以实现。这是因为光学非线性通常较弱，往往需要高光功率才能诱导产生，从而导致能耗过高。目前，已有研究报道了替代解决方案，如高效的电光转换机制以及基于光-物质相互作用的各类光学效应等。例如，DNN中常用的非线性激活函数ReLU，在ONNs中可通过光电探测器/传感器阵列、量子点的反向填充光吸收机制[278]、探测脉冲与环形谐振器之间的共振[61]等方式实现。值得注意的是，光学非线性激活函数实现困难的问题，可通过混合光电计算方法解决。然而，与理想的全光计算架构相比，这类混合计算架构在处理速度、能耗和吞吐量方面仍存在差距。因此，探索低能耗、易实现、高速且具有多种表达形式的光学非线性机制，具有重要意义。

最后，具备高能效和高吞吐量的片上集成ONNs，为广泛的研究和商业应用提供了潜在的光子计算平台。但此类网络架构成本高昂，且面临诸多技术挑战，例如，如何将具有不同功能的光学算子集成到单个芯片上，以及如何在芯片内部实现灵活可重构的光学算子等技术问题，仍有待解决。因此，在光子计算系统发展成为实用技术的过程中，亟须解决一系列关键挑战，包括缺乏合适的光学训练机制、开发高效光学非线性激活方法，以及研发易于集成的可扩展光子处理器等。

实现实用的光子计算系统，需要光子学、计算机科学、工程学、材料科学等多个领域开展广泛的跨学科合作。超构光学、全息技术和量子光子学等尖端光子学技术，正推动当前AI计算系统发生变革[279‒280]。在全光计算架构[281]和通用量子计算机成熟之前，研发具有高速、低能耗和高吞吐量的混合光电计算系统，是缓解当前AI瓶颈的重要途径。这种混合计算模式融合了光学计算和电子计算的优势，可视为迈向实用全光计算架构的过渡阶段。从长远来看，光子计算的发展应聚焦于充分发挥光子的优势，让光子在AI系统中承担尽可能多的任务。

综上所述，AI与光子学的深度融合，促进了两个领域的共同发展，催生了新兴交叉学科——智能光子学。近年来，智能光子学取得了重大进展，在实际应用中展现出卓越性能和巨大潜力。凭借高效的数据处理和推理能力，AI可应用于光子学的正向建模和逆向设计；而基于光子学的器件和系统可用于神经网络的物理实现，为AI计算系统实现高速、低能耗运行提供支持。在追求通用光子计算系统的过程中，科研人员持续开展研究，致力于突破现有挑战，研发高性能ONNs架构。本文从深度学习、超构光学、全息技术和量子光子学的角度，综述了智能光子学的最新研究进展，阐述了智能光子学在元宇宙、生物医学、自动驾驶、先进制造、光通信和天文观测等多个领域的应用，并进一步探讨了智能光子学未来发展的挑战与前景。相信智能光子学的进步将推动光子学技术进一步发展，助力AI系统实现更强大的计算性能，为人类生活构建智能化未来。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Wang HC, Fu TF, Du YQ, Gao WH, Huang KX, Liu ZM, et al. Scientific discovery in the age of artificial intelligence. Nature 2023;620(7972):47‒60. . 10.1038/s41586-023-06221-2
[2]

LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015;521(7553):436‒44. . 10.1038/nature14539
[3]

Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks. Commun ACM 2017;60(6):84‒90. . 10.1145/3065386
[4]

Zuo C, Qian JM, Feng SJ, Yin W, Li YX, Fan PF, et al. Deep learning in optical metrology: a review. Light Sci Appl 2022;11:39. . 10.1038/s41377-022-00714-x
[5]

Ma W, Liu ZC, Kudyshev ZA, Boltasseva A, Cai WS, Liu YM. Deep learning for the design of photonic structures. Nat Photonics 2021;15(2):77‒90. . 10.1038/s41566-020-0685-y
[6]

Wu YC, Han XF, Su YJ, Glidewell M, Daniels JS, Liu JM, et al. Multiview confocal super-resolution microscopy. Nature 2021;600(7888):279‒84. . 10.1038/s41586-021-04110-0
[7]

Lundstrom M. Moore’s law forever? Science 2003;299(5604):210‒1. . 10.1126/science.1079567
[8]

Li C, Zhang X, Li JW, Fang T, Dong XW. The challenges of modern computing and new opportunities for optics. PhotoniX 2021;2:20. . 10.1186/s43074-021-00042-0
[9]

AI and compute [Internet]. San Francisco: Open AI; 2018 May 16 [cited 2024 Jul 7]. Available from:

[10]

Dhar P. The carbon impact of artificial intelligence. Nat Mach Intell 2020;2(8):423‒5. . 10.1038/s42256-020-0219-9
[11]

Akhoon MS, Suandi SA, Alshahrani A, Saad AMHY, Albogamy FR, Abdullah MZB, et al. High performance accelerators for deep neural networks: a review. Expert Syst 2022;39:e12831. . 10.1111/exsy.12831
[12]

Palmer C. Neuromorphic computing advances deep-learning applications. Engineering 2020;6(8):854‒6. . 10.1016/j.eng.2020.06.010
[13]

Hills G, Lau C, Wright A, Fuller S, Bishop MD, Srimani T, et al. Modern microprocessor built from complementary carbon nanotube transistors. Nature 2019;572(7771):595‒602. . 10.1038/s41586-019-1493-8
[14]

Ladd TD, Jelezko F, Laflamme R, Nakamura Y, Monroe C, O’Brien JL. Quantum computers. Nature 2010;464(7285):45‒53. . 10.1038/nature08812
[15]

Zhang H, Zhang L, Lin A, Xu CC, Li ZY, Liu KB, et al. Algorithm for optimized mRNA design improves stability and immunogenicity. Nature 2023;621(7978):396‒403. . 10.1038/s41586-023-06127-z
[16]

WuJM, Lin X, Guo YC, Liu JW, Fang L, Jiao SM, et al. Analog optical computing for artificial intelligence. Engineering 2022;10:133‒45. . 10.1016/j.eng.2021.06.021
[17]

McMahon P. The physics of optical computing. Nat Rev Phys 2023;5:717‒34. . 10.1038/s42254-023-00645-5
[18]

Xiang C, Jin W, Terra O, Dong BZ, Wang HM, Wu L, et al. 3D integration enables ultralow-noise isolator-free lasers in silicon photonics. Nature 2023;620(7972):78‒85. . 10.1038/s41586-023-06251-w
[19]

Shu HW, Chang L, Tao YS, Shen BT, Xie WQ, Jin M, et al. Microcomb-driven silicon photonic systems. Nature 2022;605(7910):457‒63. . 10.1038/s41586-022-04579-3
[20]

Han CH, Zheng Z, Shu HW, Jin M, Qin J, Chen RX, et al. Slow-light silicon modulator with 110-GHz bandwidth. Science 2023;9(42):eadi5339. . 10.1126/sciadv.adi5339
[21]

Jørgensen AA, Kong D, Henriksen MR, Klejs F, Ye Z, Helgason OB, et al. Petabit per-second data transmission using a chip-scale microcomb ring resonator source. Nat Photonics 2022;16(11):798‒802. . 10.1038/s41566-022-01082-z
[22]

Wade M, Anderson E, Ardalan S, Bhargava P, Buchbinder S, Davenport ML, et al. TeraPHY: a chiplet technology for low-power, high-bandwidth in package optical I/O. IEEE Micro 2020;40:63‒71. . 10.1109/mm.2020.2976067
[23]

Liu W, Li M, Guzzon RS, Norberg EJ, Parker JS, Lu MZ, et al. A fully reconfigurable photonic integrated signal processor. Nat Photonics 2016;10(3):190‒5. . 10.1038/nphoton.2015.281
[24]

Xu ZF, Tang BS, Zhang XY, Leong JF, Pan JM, Hooda S, et al. Reconfigurable nonlinear photonic activation function for photonic neural network based on non-volatile opto-resistive RAM switch. Light Sci Appl 2022;11:288. . 10.1038/s41377-022-00976-5
[25]

Sund PI, Lomonte E, Paesani S, Wang Y, Carolan J, Bart N, et al. High-speed thin-film lithium niobate quantum processor driven by a solid-state quantum emitter. Sci Adv 2023;9(19):eadg7268. . 10.1126/sciadv.adg7268
[26]

Polar ID: enabling the next level of biometric security. Boston: Metalenz; [cited 2024 Jul 7]. Available from:

[27]

Willomitzer F, Rangarajan PV, Li FQ, Balaji MM, Christensen MP, Cossairt O. Fast non-line-of-sight imaging with high-resolution and wide field of view using synthetic wavelength holography. Nat Commun 2021;12:6647. . 10.1038/s41467-021-26776-w
[28]

Deng YH, Gu YC, Liu HL, Gong SQ, Su H, Zhang ZJ, et al. Gaussian boson sampling with pseudo-photon-number-resolving detectors and quantum computational advantage. Phys Rev Lett 2023;131(15):150601. . 10.1103/physrevlett.131.150601
[29]

Pan W, Zheng JY, Wang L, Luo Y. A future perspective on in-sensor computing. Engineering 2022;14:19‒21. . 10.1016/j.eng.2022.01.009
[30]

Cao JF, Yip HC, Chen YY, Scheppach M, Luo XB, Yang HZ, et al. Intelligent surgical workflow recognition for endoscopic submucosal dissection with real-time animal study. Nat Commun 2023;14:6676. . 10.1038/s41467-023-42451-8
[31]

Baker SB, Xiang W, Atkinson I. Internet of Things for smart healthcare: technologies, challenges, and opportunities. IEEE Access 2017;5:26521‒44. . 10.1109/access.2017.2775180
[32]

Sludds A, Bandyopadhyay S, Chen ZJ, Zhong ZZ, Cochrane J, Bernstein L, et al. Delocalized photonic deep learning on the internet’s edge. Science 2022;378(6617):270‒6. . 10.1126/science.abq8271
[33]

Fu TZ, Zang YB, Huang YY, Du ZM, Huang HH, Hu CY, et al. Photonic machine learning with on-chip diffractive optics. Nat Commun 2023;14:70. . 10.1038/s41467-022-35772-7
[34]

Alagappan G, Ong JR, Yang ZF, Ang TYL, Zhao WJ, Jiang Y, et al. Leveraging AI in photonics and beyond. Photonics 2022;9(2):75. . 10.3390/photonics9020075
[35]

Rivenson Y, Zhang YB, Günaydın H, Teng D, Ozcan A. Phase recovery and holographic image reconstruction using deep learning in neural networks. Light Sci Appl 2017;7:17141. . 10.1038/lsa.2017.141
[36]

Krenn M, Landgraf J, Foesel T, Marquardt F. Artificial intelligence and machine learning for quantum technologies. Phys Rev A 2023;107(1):010101. . 10.1103/physreva.107.010101
[37]

Kiarashinejad Y, Abdollahramezani S, Zandehshahvar M, Hemmatyar O, Adibi A. Deep learning reveals underlying physics of light-matter interactions in nanophotonic devices. Adv Theory Simul 2019;2(9):1900088. . 10.1002/adts.201900088
[38]

Barbastathis G, Ozcan A, Situ GH. On the use of deep learning for computational imaging. Optica 2019;6(8):921‒43. . 10.1364/optica.6.000921
[39]

Zhu XX, Tuia D, Mou L, Xia GS, Zhang LP, Xu F, et al. Deep learning in remote sensing: a comprehensive review and list of resources. IEEE Geosci Remote Sens Mag 2017;5(4):8‒36. . 10.1109/mgrs.2017.2762307
[40]

Ma Q, Liu C, Xiao Q, Gu Z, Gao XX, Li LL, et al. Information metasurfaces and intelligent metasurfaces. Photon Insights 2022;1(1):R01. . 10.3788/pi.2022.r01
[41]

Liu GX, Liu JF, Zhou WJ, Li LY, You CL, Qiu CW, et al. Inverse design in quantum nanophotonics: combining local-density-of-states and deep learning. Nanophotonics 2023;12(11):1943‒55. . 10.1515/nanoph-2022-0746
[42]

Brady DJ, Fang L, Ma Z. Deep learning for camera data acquisition, control, and image estimation. Adv Opt Photonics 2020;12(4):787‒846. . 10.1364/aop.398263
[43]

Wang D, Zhang M. Artificial intelligence in optical communications: from machine learning to deep learning. Front Comms Net 2021;2:656786. . 10.3389/frcmn.2021.656786
[44]

Mengu D, Sakib Rahman MS, Luo Y, Li JX, Kulce O, Ozcan A. At the intersection of optics and deep learning: statistical inference, computing, and inverse design. Adv Opt Photonics 2022;14(2):209‒90. . 10.1364/aop.450345
[45]

Wright LG, Onodera T, Stein MM, Wang TY, Schachter DT, Hu Z, et al. Deep physical neural networks trained with backpropagation. Nature 2022;601 (7894):549‒55. . 10.1038/s41586-021-04223-6
[46]

Momeni A, Rahmani B, Malléjac M, del Hougne P, Fleury R. Backpropagation free training of deep physical neural networks. Science 2023;382(6676):1297‒303. . 10.1126/science.adi8474
[47]

Caulfield HJ, Dolev S. Why future supercomputing requires optics. Nat Photonics 2010;4(5):261‒3. . 10.1038/nphoton.2010.94
[48]

Jiao SM, Liu JW, Zhang LW, Yu FH, Zuo GM, Zhang JM, et al. All-optical logic gate computing for high-speed parallel information processing. Opto Electron Sci 2022;1(9):220010. . 10.29026/oes.2022.220010
[49]

Wang J, Long Y. On-chip silicon photonic signaling and processing: a review. Sci Bull 2018;63(19):1267‒310. . 10.1016/j.scib.2018.05.038
[50]

Lin X, Liu JP, Hao JY, Wang K, Zhang YY, Li H, et al. Collinear holographic data storage technologies. Opto Electron Adv 2020;3(3):190004. . 10.29026/oea.2020.190004
[51]

Ding XM, Zhao ZH, Xie P, Cai DY, Meng FY, Wang C, et al. Metasurface-based optical logic operators driven by diffractive neural networks. Adv Mater 2023;36(9):2308993. . 10.1002/adma.202470071
[52]

Solli DR, Jalali B. Analog optical computing. Nat Photonics 2015;9(11):704‒6. . 10.1038/nphoton.2015.208
[53]

Goodman JW, Dias AR, Woody LM. Fully parallel, high-speed incoherent optical method for performing discrete Fourier transforms. Opt Lett 1978;2(1):1‒3. . 10.1364/ol.2.000001
[54]

Chen YS. 4f-Type optical system for matrix multiplication. Opt Eng 1993;32(1):77‒9. . 10.1117/12.60078
[55]

Lee DD, Seung HS. Learning the parts of objects by non-negative matrix factorization. Nature 1999;401(6755):788‒91. . 10.1038/44565
[56]

Shou YC, Wang Y, Miao LL, Chen SZ, Luo HL. Realization of all-optical higher order spatial differentiators based on cascaded operations. Opt Lett 2022;47(22):5981‒4. . 10.1364/ol.473988
[57]

Chen MK, Liu XY, Sun YN, Tsai DP. Artificial intelligence in meta-optics. Chem Rev 2022;122(19):15356‒413. . 10.1021/acs.chemrev.2c00012
[58]

Situ GH. Deep holography. Light Adv Manuf 2022;3(2):278‒300. . 10.37188/lam.2022.013
[59]

Zhong HS, Wang H, Deng YH, Chen MC, Peng LC, Luo YH, et al. Quantum computational advantage using photons. Science 2020;370(6523):1460‒3. . 10.1126/science.abe8770
[60]

Shen YC, Harris NC, Skirlo S, Prabhu M, Baehr-Jones T, Hochberg M, et al. Deep learning with coherent nanophotonic circuits. Nat Photonics 2017;11(7):441‒6. . 10.1038/nphoton.2017.93
[61]

Feldmann J, Youngblood N, Wright CD, Bhaskaran H, Pernice WHP. All-optical spiking neurosynaptic networks with self-learning capabilities. Nature 2019;569(7755):208‒14. . 10.1038/s41586-019-1157-8
[62]

Wang JW, Sciarrino F, Laing A, Thompson MG. Integrated photonic quantum technologies. Nat Photonics 2020;14(5):273‒84. . 10.1038/s41566-019-0532-1
[63]

Su YK, He Y, Guo XH, Xie WQ, Ji XC, Wang HW, et al. Scalability of large-scale photonic integrated circuits. ACS Photonics 2023;10(7):2020‒30. . 10.1021/acsphotonics.2c01529
[64]

Blumenthal DJ. Photonic integration for UV to IR applications. APL Photonics 2020;5(2):020903. . 10.1063/1.5131683
[65]

Kaur P, Boes A, Ren G, Nguyen TG, Roelkens G, Mitchell A. Hybrid and heterogeneous photonic integration. APL Photonics 2021;6(6):061102. . 10.1063/5.0052700
[66]

Yi XG, Zeng HY, Gao S, Qiu CY. Design of an ultra-compact low-crosstalk sinusoidal silicon waveguide array for optical phased array. Opt Express 2020;28(25):37505‒13. . 10.1364/oe.405802
[67]

He MB, Xu MY, Ren YX, Jian J, Ruan ZL, Xu YS, et al. High-performance hybrid silicon and lithium niobate Mach-Zehnder modulators for 100 Gbits-1 and beyond. Nat Photonics 2019;13(5):359‒64. . 10.1038/s41566-019-0378-6
[68]

Lin X, Rivenson Y, Yardimci NT, Veli M, Luo Y, Jarrahi M, et al. All-optical machine learning using diffractive deep neural networks. Science 2018;361(6406):1004‒8. . 10.1126/science.aat8084
[69]

Zhou TK, Lin X, Wu JM, Chen YT, Xie H, Li YP, et al. Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit. Nat Photonics 2021;15(5):367‒73. . 10.1038/s41566-021-00796-w
[70]

Qian C, Lin X, Lin XB, Xu J, Sun Y, Li EP, et al. Performing optical logic operations by a diffractive neural network. Light Sci Appl 2020;9:59. . 10.1038/s41377-020-0303-2
[71]

PACE: photonic arithmetic computing engine [Internet]. Boston: Lightelligence Co., Ltd; [cited 2024 Jul 7]. Available: 10.1016/b978-0-32-395399-3.00020-2
[72]

Feldmann J, Youngblood N, Karpov M, Gehring H, Li X, Stappers M, et al. Parallel convolutional processing using an integrated photonic tensor core. Nature 2021;589(7840):52‒8. . 10.1038/s41586-020-03070-1
[73]

Meng XY, Zhang GJ, Shi NN, Li GY, Azana J, Capmany J, et al. Compact optical convolution processing unit based on multimode interference. Nat Commun 2023;14:3000. . 10.1038/s41467-023-38786-x
[74]

Cheng JW, Xie YZ, Liu Y, Song JJ, Liu XY, He ZM, et al. Human emotion recognition with a microcomb-enabled integrated optical neural network. Nanophotonics 2023;12(20):3883‒94. . 10.1515/nanoph-2023-0298
[75]

Xu XY, Tan MX, Corcoran B, Wu JY, Boes A, Nguyen TG, et al. 11 Tops photonic convolutional accelerator for optical neural networks. Nature 2021;589(7840):44‒51. . 10.1038/s41586-020-03063-0
[76]

Chen YT, Nazhamaiti M, Xu H, Meng Y, Zhou TK, Li GP, et al. All-analog photoelectronic chip for high-speed vision tasks. Nature 2023;623(7985):48‒57. . 10.1038/s41586-023-06558-8
[77]

Bouvier M, Valentian A, Mesquida T, Rummens F, Reyboz M, Vianello E, et al. Spiking neural networks hardware implementations and challenges: a survey. ACM J Emerg Technol Comput Syst 2019;15(2):1‒35. . 10.1145/3304103
[78]

Jouppi NP, Young C, Patil N, Patterson D, Agrawal G, Bajwa R, et al. In datacenter performance analysis of a tensor processing unit. In: Proceedings of the 44th Annual International Symposium on Computer Architecture; 2017 Jun 24‒28; Toronto, ON, Canada. New York City: IEEE; 2017. p. 1‒12. . 10.1109/mm.2018.032271057
[79]

NVIDIA A 100 tensor core GPU [Internet]. Santa Clara: NVIDIA Corporation; [cited 2024 Jul 7]. Available from:

[80]

Shrestha A, Mahmood A. Review of deep learning algorithms and architectures. IEEE Access 2019;7:53040‒65. . 10.1109/access.2019.2912200
[81]

Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science 2006;313(5786):504‒7. . 10.1126/science.1127647
[82]

De Lima TF, Shastri BJ, Tait AN, Nahmias MA, Prucnal PR. Progress in neuromorphic photonics. Nanophotonics 2017;6(3):577‒99. . 10.1515/nanoph-2016-0139
[83]

Pellizzari CJ, Bate TJ, Donnelly KP, Buzzard GT, Bouman CA, Spencer MF. through aberrations. Opt Lasers Eng 2023;164:107496. . 10.1016/j.optlaseng.2023.107496
[84]

Vishniakou I, Seelig JD. Wavefront correction for adaptive optics with reflected light and deep neural networks. Opt Express 2020;28(10):15459‒71. . 10.1364/oe.392794
[85]

Rivenson Y, Gorocs Z, Gunaydin H, Zhang YB, Wang HD, Ozcan A. Deep learning microscopy. Optica 2017;4(11):1437‒43. . 10.1364/optica.4.001437
[86]

Qiao C, Li D, Guo YT, Liu C, Jiang T, Dai QH, et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy. Nat Methods 2021;18(2):194‒202. . 10.1038/s41592-020-01048-5
[87]

Li S, Deng M, Lee J, Sinha A, Barbastathis G. Imaging through glass diffusers using densely connected convolutional networks. Optica 2018;5(7):803‒13. . 10.1364/optica.5.000803
[88]

Li YZ, Xue YJ, Tian L. Deep speckle correlation: a deep learning approach toward scalable imaging through scattering media. Optica 2018;5(10):1181‒90. . 10.1364/optica.5.001181
[89]

Wang KQ, Song L, Wang CT, Ren ZB, Zhao GY, Dou JZ, et al. On the use of deep learning for phase recovery. Light Sci Appl 2024;13:4. . 10.1038/s41377-023-01340-x
[90]

Sinha A, Lee J, Li S, Barbastathis G. Lensless computational imaging through deep learning. Optica 2017;4(9):1117‒25. . 10.1364/optica.4.001117
[91]

Wu JC, Cao LC, Barbastathis G. DNN-FZA camera: a deep learning approach toward broadband FZA lensless imaging. Opt Lett 2021;46(1):130‒3. . 10.1364/ol.411228
[92]

Wang CH, Ma J, Feng YD, Xu XY, Zhang TY, Cheng K, et al. Error-free long lifespan optical storage enhanced by deep learning. Laser Photonics Rev 2024;18(6):2301042. . 10.1002/lpor.202301042
[93]

Wiecha PR, Lecestre A, Mallet N, Larrieu G. Pushing the limits of optical information storage using deep learning. Nat Nanotechnol 2019;14(3):237‒44. . 10.1038/s41565-018-0346-1
[94]

So S, Badloe T, Noh J, Rho J, Bravo-Abad J, Rho J. Deep learning enabled inverse design in nanophotonics. Nanophotonics 2020;9(5):1041‒57. . 10.1515/nanoph-2019-0474
[95]

Karanov B, Chagnon M, Thouin F, Eriksson TA, Bülow H, Lavery D, et al. End to-end deep learning of optical fiber communications. J Lit Technol 2018;36(20):4843‒55. . 10.1109/jlt.2018.2865109
[96]

Ballard Z, Brown C, Madni AM, Ozcan A. Machine learning and computation enabled intelligent sensor design. Nat Mach Intell 2021;3(7):556‒65. . 10.1038/s42256-021-00360-9
[97]

Jing LL, Tian YL. Self-supervised visual feature learning with deep neural networks: a survey. IEEE Trans Pattern Anal Mach Intell 2021;43(11):4037‒58. . 10.1109/tpami.2020.2992393
[98]

Jiang XT, Wang DS, Fan QR, Zhang M, Chao L, Lau APT. Physics-informed neural network for nonlinear dynamics in fiber optics. Laser Photonics Rev 2022;16(9):2100483. . 10.1002/lpor.202100483
[99]

Pan SJ, Yang Q. A survey on transfer learning. IEEE Trans Knowl Data Eng 2010;22(10):1345‒59. . 10.1109/tkde.2009.191
[100]

Baker B, Gupta O, Naik N, Raskar R. Designing neural network architectures using reinforcement learning. 2016. arXiv:
[101]

Zhou HL, Dong JJ, Cheng JW, Dong WC, Huang CR, Shen YC, et al. Photonic matrix multiplication lights up photonic accelerator and beyond. Light Sci Appl 2022;11:30. . 10.1038/s41377-022-00717-8
[102]

Farhat NH, Psaltis D, Prata A, Paek E. Optical implementation of the Hopfield model. Appl Opt 1985;24:1469. . 10.1364/ao.24.001469
[103]

Liu J, Wu QH, Sui XB, Chen Q, Gu GH, Wang LP, et al. Research progress in optical neural networks: theory, applications and developments. PhotoniX 2021;2:5. . 10.1186/s43074-021-00026-0
[104]

Shastri BJ, Tait AN, Ferreira de Lima T, Pernice WHP, Bhaskaran H, Wright CD, et al. Photonics for artificial intelligence and neuromorphic computing. Nat Photonics 2021;15(2):102‒14. . 10.1038/s41566-020-00754-y
[105]

Wetzstein G, Ozcan A, Gigan S, Fan SH, Englund D, Soljacic M, et al. Inference in artificial intelligence with deep optics and photonics. Nature 2020;588(7836):39‒47. . 10.1038/s41586-020-2973-6
[106]

Bogaerts W, Perez D, Capmany J, Miller DAB, Poon J, Englund D, et al. Programmable photonic circuits. Nature 2020;586(7828):207‒16. . 10.1038/s41586-020-2764-0
[107]

Wilkes CM, Qiang X, Wang J, Santagati R, Paesani S, Zhou X, et al. 60 dB high extinction auto-configured Mach-Zehnder interferometer. Opt Lett 2016;41(22):5318‒21. . 10.1364/ol.41.005318
[108]

Mourgias-Alexandris G, Moralis-Pegios M, Tsakyridis A, Simos S, Dabos G, Totovic A, et al. Noise-resilient and high-speed deep learning with coherent silicon photonics. Nat Commun 2022;13:5572. . 10.1038/s41467-022-33259-z
[109]

Kirtas M, Oikonomou A, Passalis N, Mourgias-Alexandris G, Moralis-Pegios M, Pleros N, et al. Quantization-aware training for low precision photonic neural networks. Neural Netw 2022;155:561‒73. . 10.1016/j.neunet.2022.09.015
[110]

Giamougiannis G, Tsakyridis A, Moralis-Pegios M, Pappas C, Kirtas M, Passalis N, et al. Analog nanophotonic computing going practical: silicon photonic deep learning engines for tiled optical matrix multiplication with dynamic precision. Nanophotonics 2023;12(5):963‒73. . 10.1515/nanoph-2022-0423
[111]

Zhu HH, Zou J, Zhang H, Shi YZ, Luo SB, Wang N, et al. Space-efficient optical computing with an integrated chip diffractive neural network. Nat Commun 2022;13:1044. . 10.1038/s41467-022-28702-0
[112]

Tait AN, De Lima TF, Zhou E, Wu AX, Nahmias MA, Shastri BJ, et al. Neuromorphic photonic networks using silicon photonic weight banks. Sci Rep 2017;7:7430. . 10.1038/s41598-017-07754-z
[113]

Tait AN, Nahmias MA, Shastri BJ, Prucnal PR. Broadcast and weight: an integrated network for scalable photonic spike processing. J Lit Technol 2014;32(21):4029‒41. . 10.1109/jlt.2014.2345652
[114]

Bai BW, Yang QP, Shu HW, Chang L, Yang FH, Shen BT, et al. Microcomb-based integrated photonic processing unit. Nat Commun 2023;14:66. . 10.1038/s41467-022-35506-9
[115]

Wang XY, Qiu XK, Liu ML, Liu F, Li MM, Xue LP, et al. Flat soliton microcomb source. Opto Electron Sci 2023;2(12):230024. . 10.29026/oes.2023.230024
[116]

Kulce O, Mengu D, Rivenson Y, Ozcan A. All-optical information-processing capacity of diffractive surfaces. Light Sci Appl 2021;10:25. . 10.1038/s41377-020-00439-9
[117]

Mengu D, Zhao YF, Yardimci NT, Rivenson Y, Jarrahi M, Ozcan A. Misalignment resilient diffractive optical networks. Nanophotonics 2020;9(13):4207‒19. . 10.1515/nanoph-2020-0291
[118]

Zheng MJ, Shi L, Zi J. Optimize performance of a diffractive neural network by controlling the Fresnel number. Photonics Res 2022;10:2667‒76. . 10.1364/prj.474535
[119]

Chen H, Feng JA, Jiang MW, Wang YQ, Lin J, Tan JB, et al. Diffractive deep neural networks at visible wavelengths. Engineering 2021;7(10):1483‒91. . 10.1016/j.eng.2020.07.032
[120]

Luo Y, Mengu D, Yardimci NT, Rivenson Y, Veli M, Jarrahi M, et al. Design of task-specific optical systems using broadband diffractive neural networks. Light Sci Appl 2019;8:112. . 10.1038/s41377-019-0223-1
[121]

Li JX, Gan TY, Bai BJ, Luo Y, Jarrahi M, Ozcan A. Massively parallel universal linear transformations using a wavelength-multiplexed diffractive optical network. Adv Photonics 2023;5(1):016003. . 10.1117/1.ap.5.1.016003
[122]

Duan ZY, Chen H, Lin X. Optical multi-task learning using multi-wavelength diffractive deep neural networks. Nanophotonics 2023;12(5):893‒903. . 10.1515/nanoph-2022-0615
[123]

Yan T, Wu JM, Zhou TK, Xie H, Xu F, Fan JT, et al. Fourier-space diffractive deep neural network. Phys Rev Lett 2019;123(2):023901. . 10.1103/physrevlett.123.023901
[124]

Hu ZB, Li SR, Schwartz RLT, Solyanik-Gorgone M, Miscuglio M, Gupta P, et al. High-throughput multichannel parallelized diffraction convolutional neural network accelerator. Laser Photonics Rev 2022;16(12):2200213. . 10.1002/lpor.202200213
[125]

Zhou TK, Fang L, Yan T, Wu JM, Li YP, Fan JT, et al. In situ optical backpropagation training of diffractive optical neural networks. Photon Res 2020;8(6):940‒53. . 10.1364/prj.389553
[126]

Xu ZH, Yuan XY, Zhou TK, Fang L. A multichannel optical computing architecture for advanced machine vision. Light Sci Appl 2022;11:255. . 10.1038/s41377-022-00945-y
[127]

Yan T, Yang R, Zheng ZY, Lin X, Xiong HK, Dai QH. All-optical graph representation learning using integrated diffractive photonic computing units. Sci Adv 2022;8(24):eabn7630. . 10.1126/sciadv.abn7630
[128]

Qu YR, Zhu HZ, Shen YC, Zhang J, Tao CN, Ghosh PT, et al. Inverse design of an integrated-nanophotonics optical neural network. Sci Bull 2020;65(14):1177‒83. . 10.1016/j.scib.2020.03.042
[129]

Khoram E, Chen A, Liu DJ, Ying L, Wang QQ, Yuan M, et al. Nanophotonic media for artificial neural inference. Photon Res 2019;7(8):823‒7. . 10.1364/prj.7.000823
[130]

Muminov B, Vuong LT. Fourier optical preprocessing in lieu of deep learning. Optica 2020;7(9):1079‒88. . 10.1364/optica.397707
[131]

Muminov B, Perry A, Hyder R, Asif MS, Vuong LT. Toward simple, generalizable neural networks with universal training for low-SWaP hybrid vision. Photon Res 2021;9(7):B253‒61. . 10.1364/prj.416614
[132]

Chang J, Sitzmann V, Dun X, Heidrich W, Wetzstein G. Hybrid optical electronic convolutional neural networks with optimized diffractive optics for image classification. Sci Rep 2018;8:12324. . 10.1038/s41598-018-30619-y
[133]

Martel JNP, Mueller LK, Carey SJ, Dudek P, Wetzstein G. Neural sensors: learning pixel exposures for HDR imaging and video compressive sensing with programmable sensors. IEEE Trans Pattern Anal Mach Intell 2020;42:1642‒53. . 10.1109/tpami.2020.2986944
[134]

Li JX, Mengu D, Yardimci NT, Luo Y, Li XR, Veli M, et al. Spectrally encoded single-pixel machine vision using diffractive networks. Sci Adv 2021;7(13): eabd7690. . 10.1126/sciadv.abd7690
[135]

Shi WX, Huang Z, Huang HH, Hu CY, Chen MH, Yang SG, et al. LOEN: lensless opto-electronic neural network empowered machine vision. Light Sci Appl 2022;11:121. . 10.1038/s41377-022-00809-5
[136]

Wang H, Zhan ZY, Hu FT, Meng Y, Liu ZQ, Fu X, et al. Intelligent optoelectronic processor for orbital angular momentum spectrum measurement. PhotoniX 2023;4:9. . 10.1186/s43074-022-00079-9
[137]

Shen YW, Li RQ, Liu GT, Yu JY, He XM, Yi LL, et al. Deep photonic reservoir computing recurrent network. Optica 2023;10(12):1745‒51. . 10.1364/optica.506635
[138]

Xiang SY, Shi YC, Guo XX, Zhang YH, Wang HJ, Zheng DZ, et al. Hardware algorithm collaborative computing with photonic spiking neuron chip based on anintegrated Fabry-Perot laser with a saturable absorber. Optica 2023;10(2):162‒71. . 10.1364/optica.468347
[139]

Liu ZY, Wang DY, Gao H, Li MX, Zhou HX, Zhang C. Metasurface-enabled augmented reality display: a review. Adv Photonics 2023;5(3):034001. . 10.1117/1.ap.5.3.034001
[140]

Neshev DN, Miroshnichenko AE. Enabling smart vision with metasurfaces. Nat Photonics 2023;17(1):26‒35. . 10.1038/s41566-022-01126-4
[141]

Ou K, Wan HY, Wang GF, Zhu JY, Dong SY, He T, et al. Advancesinmeta-optics and metasurfaces: fundamentals and applications. Nanomaterials 2023;13(7):1235. . 10.3390/nano13071235
[142]

Jiang Q, Jin GF, Cao LC. When metasurface meets hologram: principle and advances. Adv Opt Photonics 2019;11(3):518‒76. . 10.1364/aop.11.000518
[143]

Dorrah AH, Capasso F. Tunable structured light with flat optics. Science 2022;376(6591):eabi6860. . 10.1126/science.abi6860
[144]

Kim I, Martins RJ, Jang J, Badloe T, Khadir S, Jung HY, et al. Nanophotonics for light detection and ranging technology. Nat Nanotechnol 2021;16(5):508‒24. . 10.1038/s41565-021-00895-3
[145]

Zhao RZ, Huang LL, Wang YT. Recent advances in multi-dimensional metasurfaces holographic technologies. PhotoniX 2020;1:20. . 10.1186/s43074-020-00020-y
[146]

Fan KB, Suen JY, Liu XY, Padilla WJ. All-dielectric metasurface absorbers for uncooled terahertz imaging. Optica 2017;4(6):601‒4. . 10.1364/optica.4.000601
[147]

Nie S, Akyildiz IF. Metasurfaces for multiplexed communication. Nat Electron 2021;4(3):177‒8. . 10.1038/s41928-021-00555-3
[148]

Zhao XG, Sun ZC, Zhang LY, Wang ZL, Xie RB, Zhao JH, et al. Review on metasurfaces: an alternative approach to advanced devices and instruments. Adv Devices Instrum 2022;2022:9765089. . 10.34133/2022/9765089
[149]

Yang F, Shalaginov MY, Lin HI, An SS, Agarwal A, Zhang HL, et al. Wide field of-view metalens: a tutorial. Adv Photonics 2023;5(3):033001. . 10.1117/1.ap.5.3.033001
[150]

Wesemann L, Rickett J, Song JC, Lou JQ, Hinde E, Davis TJ, et al. Nanophotonics enhanced coverslip for phase imaging in biology. Light Sci Appl 2021;10:98. . 10.1038/s41377-021-00540-7
[151]

Altug H, Oh SH, Maier SA, Homola J. Advances and applications of nanophotonic biosensors. Nat Nanotechnol 2022;17(1):5‒16. . 10.1038/s41565-021-01045-5
[152]

Cheng JP, Sha XB, Zhang H, Chen QM, Qu GY, Song QH, et al. Ultracompact orbital angular momentum sorter on a CMOS chip. Nano Lett 2022;22(10):3993‒9. . 10.1021/acs.nanolett.2c00572
[153]

Krasikov S, Tranter A, Bogdanov A, Kivshar Y. Intelligent metaphotonics empowered by machine learning. Opto Electron Adv 2022;5(3):210147. . 10.29026/oea.2022.210147
[154]

Veselago VG. Electrodynamics of substances with simultaneously negative and values of e and l. Sov Phys Usp 1968;10(4):509‒14. . 10.1070/pu1968v010n04abeh003699
[155]

Pendry JB, Holden AJ, Stewart WJ, Youngs I. Extremely low frequency plasmons in metallic mesostructures. Phys Rev Lett 1996;76(25):4773‒6. . 10.1103/physrevlett.76.4773
[156]

Yu NF, Genevet P, Kats MA, Aieta F, Tetienne JP, Capasso F, et al. Light propagation with phase discontinuities: generalized laws of reflection and refraction. Science 2011;334(6054):333‒7. . 10.1126/science.1210713
[157]

Cui TJ, Qi MQ, Wan X, Zhao J, Cheng Q. Coding metamaterials, digital metamaterials and programmable metamaterials. Light Sci Appl 2014;3(10):e218. . 10.1038/lsa.2014.99
[158]

McCulloch W, Pitts W. A logical calculus of the ideas immanent in nervous activity. Bull Math Biol 1943;5(4):115‒33. . 10.1007/bf02478259
[159]

Hinton GE, Osindero S, Teh YW. A fast learning algorithm for deep belief nets. Neural Comput 2006;18(7):1527‒54. . 10.1162/neco.2006.18.7.1527
[160]

Li LL, Ruan HX, Liu C, Li Y, Shuang Y, Alu A, et al. Machine-learning reprogrammable metasurface imager. Nat Commun 2019;10:1082. . 10.1038/s41467-019-09103-2
[161]

Liu C, Ma Q, Luo ZJ, Hong QR, Xiao Q, Zhang HC, et al. A programmable diffractive deep neural network based on a digital-coding metasurface array. Nat Electron 2022;5(2):113‒22. . 10.1038/s41928-022-00719-9
[162]

Huang LL, Muhlenbernd H, Li XW, Song X, Bai BF, Wang YT, et al. Broadband hybrid holographic multiplexing with geometric metasurfaces. Adv Mater 2015;27(41):6444‒9. . 10.1002/adma.201502541
[163]

Arbabi A, Horie Y, Bagheri M, Faraon A. Dielectric metasurfaces for complete control of phase and polarization with subwavelength spatial resolution and high transmission. Nat Nanotechnol 2015;10(11):937‒43. . 10.1038/nnano.2015.186
[164]

Zhao RZ, Sain B, Wei QS, Tang CC, Li XW, Weiss T, et al. Multichannel vectorial holographic display and encryption. Light Sci Appl 2018;7:95. . 10.1038/s41377-018-0091-0
[165]

Cheng H, Wei XY, Yu P, Li ZC, Liu Z, Li JJ, et al. Integrating polarization conversion and nearly perfect absorption with multifunctional metasurfaces. Appl Phys Lett 2017;110(17):171903. . 10.1063/1.4982240
[166]

Chu CH, Tseng ML, Chen J, Wu PC, Chen YH, Wang HC, et al. Active dielectric metasurface based on phase-change medium. Laser Photonics Rev 2016;10(6):986‒94. . 10.1002/lpor.201600106
[167]

Della Giovampaola C, Engheta N. Digital metamaterials. Nat Mater 2014;13(12):1115‒21. . 10.1038/nmat4082
[168]

Wu HT, Liu S, Wan X, Zhang L, Wang D, Li LL, et al. Controlling energy radiations of electromagnetic waves via frequency coding metamaterials. Adv Sci 2017;4(9):1700098. . 10.1002/advs.201770043
[169]

Zhang L, Chen XQ, Liu S, Zhang Q, Zhao J, Dai JY, et al. Space-time-coding digital metasurfaces. Nat Commun 2018;9:4334. . 10.1038/s41467-018-06802-0
[170]

Liu S, Zhang HC, Zhang L, Yang QL, Xu Q, Gu JQ, et al. Full-state controls of terahertz waves using tensor coding metasurfaces. ACS Appl Mater Interfaces 2017;9(25):21503‒14. . 10.1021/acsami.7b02789
[171]

Ma Q, Shi CB, Bai GD, Chen TY, Noor A, Cui TJ. Beam-editing coding metasurfaces based on polarization bit and orbital-angular-momentum mode bit. Adv Opt Mater 2017;5(23):1700548. . 10.1002/adom.201770117
[172]

Chen L, Ma Q, Nie QF, Hong QR, Cui HY, Ruan Y, et al. Dual-polarization programmable metasurface modulator for near-field information encoding and transmission. Photon Res 2021;9(2):116‒24. . 10.1364/prj.412052
[173]

Zhang L, Chen MZ, Tang WK, Dai JY, Miao L, Zhou XY, et al. A wireless communication scheme based on space- and frequency-division multiplexing using digital metasurfaces. Nat Electron 2021;4(3):218‒27. . 10.1038/s41928-021-00554-4
[174]

Jafar-Zanjani S, Inampudi S, Mosallaei H. Adaptive genetic algorithm for optical metasurfaces design. Sci Rep 2018;8:11040. . 10.1038/s41598-018-29275-z
[175]

Peurifoy J, Shen YC, Jing L, Yang Y, Cano-Renteria F, DeLacy BG, et al. Nanophotonic particle simulation and inverse design using artificial neural networks. Sci Adv 2018;4(6):eaar4206. . 10.1126/sciadv.aar4206
[176]

An SS, Fowler C, Zheng BW, Shalaginov MY, Tang H, Li H, et al. A deep learning approach for objective-driven all-dielectric metasurface design. ACS Photonics 2019;6(12):3196‒207. . 10.1021/acsphotonics.9b00966
[177]

Zhang Q, Wan X, Liu S, Yin JY, Zhang L, Cui TJ. Shaping electromagnetic waves using software-automatically-designed metasurfaces. Sci Rep 2017;7:3588. . 10.1038/s41598-017-03764-z
[178]

Liu C, Yu WM, Ma Q, Li LL, Cui TJ. Intelligent coding metasurface holograms by physics-assisted unsupervised generative adversarial network. Photon Res 2021;9(4):B159‒67. . 10.1364/prj.416287
[179]

Tseng E, Colburn S, Whitehead J, Huang LC, Baek SH, Majumdar A, et al. Neural nano-optics for high-quality thin lens imaging. Nat Commun 2021;12:6493. . 10.1038/s41467-021-26443-0
[180]

Ghosh A, Roth DJ, Nicholls LH, Wardley WP, Zayats AV, Podolskiy VA. Machine learning-based diffractive image analysis with subwavelength resolution. ACS Photonics 2021;8(5):1448‒56. . 10.1021/acsphotonics.1c00205
[181]

Amenabar I, Poly S, Nuansing W, Hubrich EH, Govyadinov AA, Huth F, et al. Structural analysis and mapping of individual protein complexes by infrared nanospectroscopy. Nat Commun 2013;4:2890. . 10.1038/ncomms3890
[182]

Yao HM, Li M, Jiang LJ. Applying deep learning approach to the far-field subwavelength imaging based on near-field resonant metalens at microwave frequencies. IEEE Access 2019;7:63801‒8. . 10.1109/access.2019.2915263
[183]

Li LL, Shuang Y, Ma Q, Li HY, Zhao HT, Wei ML, et al. Intelligent metasurface imager and recognizer. Light Sci Appl 2019;8:97. . 10.1038/s41377-019-0209-z
[184]

Li WH, Ma Q, Liu C, Zhang YF, Wu XN, Wang JW, et al. Intelligent metasurface system for automatic tracking of moving targets and wireless communications based on computer vision. Nat Commun 2023;14:989. . 10.1038/s41467-023-36645-3
[185]

Wesemann L, Davis TJ, Roberts A. Meta-optical and thin film devices for all optical information processing. Appl Phys Rev 2021;8(3):031309. . 10.1063/5.0048758
[186]

Silva A, Monticone F, Castaldi G, Galdi V, Alu A, Engheta N. Performing mathematical operations with metamaterials. Science 2014;343(6167):160‒3. . 10.1126/science.1242818
[187]

Badloe T, Lee S, Rho J. Computation at the speed of light: metamaterials for all-optical calculations and neural networks. Adv Photonics 2022;4(6):064002. . 10.1117/1.ap.4.6.064002
[188]

Wen J, Chen L, Yu BB, Nieder JB, Zhuang SL, Zhang DW, et al. All-dielectric synthetic-phase metasurfaces generating practical airy beams. ACS Nano 2021;15(1):1030‒8. . 10.1021/acsnano.0c07770
[189]

Semmlinger M, Zhang M, Tseng ML, Huang TT, Yang J, Tsai DP, et al. Generating third harmonic vacuum ultraviolet light with a TiO2 metasurface. Nano Lett 2019;19(12):8972‒8. . 10.1021/acs.nanolett.9b03961
[190]

Huo PC, Zhang C, Zhu WQ, Liu MZ, Zhang S, Zhang S, et al. Photonic spin multiplexing metasurface for switchable spiral phase contrast imaging. Nano Lett 2020;20(4):2791‒8. . 10.1021/acs.nanolett.0c00471
[191]

Wu ZC, Zhou M, Khoram E, Liu BY, Yu ZF. Neuromorphic metasurface. Photonics Res 2020;8:46‒50. . 10.1364/prj.8.000046
[192]

Luo XH, Hu YQ, Ou XN, Li X, Lai JJ, Liu N, et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 2022;11:158. . 10.1038/s41377-022-00844-2
[193]

Colburn S, Chu Y, Shilzerman E, Majumdar A. Optical frontend for a convolutions neural network. Appl Opt 2019;58(12):3179‒86. . 10.1364/ao.58.003179
[194]

Del Hougne P, Imani MF, Diebold AV, Horstmeyer R, Smith DR. Learned integrated sensing pipeline: reconfigurable metasurface transceivers as trainable physical layer in an artificial neural network. Adv Sci 2020;7(3):1901913. . 10.1002/advs.201901913
[195]

Qu GY, Cai GY, Sha XB, Chen QM, Cheng JP, Zhang Y, et al. All-dielectric metasurface empowered optical-electronic hybrid neural networks. Laser Photonics Rev 2022;16(10):2100732. . 10.1002/lpor.202100732
[196]

Hu JT, Mengu D, Tzarouchis DC, Edwards B, Engheta N, Ozcan A. Diffractive optical computing in free space. Nat Commun 2024;15:1525. . 10.1038/s41467-024-45982-w
[197]

Gabor D. A new microscopic principle. Nature 1948;161(4098):777‒8. . 10.1038/161777a0
[198]

Leith EN, Upatnieks J. Reconstructed wavefronts and communication theory. J Opt Soc Am 1962;52:1123‒30. . 10.1364/josa.52.001123
[199]

Denisyuk YN. On the reflection of optical properties of an object in a wave field of light scattered by it. Dokl Akad Nauk SSSR 1962;144:1275‒8. . 10.1016/0011-7471(63)90317-6
[200]

Zhang WH, Cao LC, Brady DJ, Zhang H, Cang J, Zhang H, et al. Twin-image-free holography: a compressive sensing approach. Phys Rev Lett 2018;121(9):093902. . 10.1103/physrevlett.121.093902
[201]

Zhao Y, Cao LC, Zhang H, Kong DZ, Jin GF. Accurate calculation of computer generated holograms using angular-spectrum layer-oriented method. Opt Express 2015;23(20):25440‒9. . 10.1364/oe.23.025440
[202]

Zheng HD, Zhou CJ, Shui XH, Yu YJ. Computer-generated full-color phase-only hologram using a multiplane iterative algorithm with dynamic compensation. Appl Opt 2022;61(5):B262‒70. . 10.1364/ao.444756
[203]

Wang Z, Miccio L, Coppola S, Bianco V, Memmolo P, Tkachenko V, et al. Digital holography as metrology tool at micro-nanoscale for soft matter. Light Adv Manuf 2022;3:10. . 10.37188/lam.2022.010
[204]

Li JH, Cao LC, Gu HR, Tan XD, He QS, Jin GF. Orthogonal-reference-pattern modulated shift multiplexing for collinear holographic data storage. Opt Lett 2012;37(5):936‒8. . 10.1364/ol.37.000936
[205]

Schnars U, Jüptner W. Digital holography: digital hologram recording, numerical reconstruction, and related techniques. Berlin: Springer-Verlag; 2005.
[206]

Schnars U, Jüptner WPO. Digital recording and numerical reconstruction of holograms. Meas Sci Technol 2002;13(9):R85‒R. . 10.1088/0957-0233/13/9/201
[207]

Huang ZZ, Memmolo P, Ferraro P, Cao LC. Dual-plane coupled phase retrieval for non-prior holographic imaging. PhotoniX 2022;3:3. . 10.1186/s43074-021-00046-w
[208]

Park JH. Recent progress in computer-generated holography for three dimensional scenes. J Inf Disp 2017;18(1):1‒12. . 10.1080/15980316.2016.1255672
[209]

Gerhberg R, Saxton W. A practical algorithm for the determination of phase from image and diffraction plane picture. Optik 1972;35:237‒46.
[210]

Zhang JZ, Pégard N, Zhong JS, Adesnik H, Waller L. 3D computer-generated holography by non-convex optimization. Optica 2017;4(10):1306‒13. . 10.1364/optica.4.001306
[211]

Song J, Swisher CL, Im H, Jeong S, Pathania D, Iwamoto Y, et al. Sparsity-based pixel super resolution for lens-free digital in-line holography. Sci Rep 2016;6:24681. . 10.1038/srep24681
[212]

Rivenson Y, Wu YC, Ozcan A. Deep learning in holography and coherent imaging. Light Sci Appl 2019;8:85. . 10.1038/s41377-019-0196-0
[213]

Liu KX, Wu JC, He ZH, Cao LC. 4K-DMDNet: diffraction model-driven network for 4K computer-generated holography. Opto Electron Adv 2023;6(5):220135. . 10.29026/oea.2023.220135
[214]

Zhu RC, Wang JF, Fu XM, Liu XS, Liu TH, Chu ZT, et al. Deep-learning empowered holographic metasurface with simultaneously customized phase and amplitude. ACS Appl Mater Interfaces 2022;14(42):48303‒10. . 10.1021/acsami.2c15362
[215]

Pitkäaho T, Manninen A, Naughton TJ. Focus prediction in digital holographic microscopy using deep convolutional neural networks. Appl Opt 2019;58(5): A202‒8. . 10.1364/ao.58.00a202
[216]

Liu TR, de Haan K, Rivenson Y, Wei ZS, Zeng X, Zhang YB, et al. Deep learning based super-resolution in coherent imaging systems. Sci Rep 2019;9:3926. . 10.1038/s41598-019-40554-1
[217]

Yin D, Gu ZZ, Zhang YR, Gu FY, Nie SP, Feng ST, et al. Speckle noise reduction incoherent imaging based on deep learning without clean data. Opt Lasers Eng 2020;133:106151. . 10.1016/j.optlaseng.2020.106151
[218]

Wang KQ, Kemao Q, Di JL, Zhao JL. Deep learning spatial phase unwrapping: a comparative review. Adv Photon Nexus 2022;1:014001. . 10.1117/1.apn.1.1.014001
[219]

O’Connor T, Anand A, Andemariam B, Javidi B. Deep learning-based cell identification and disease diagnosis using spatio-temporal cellular dynamics in compact digital holographic microscopy. Biomed Opt Express 2020;11(8):4491‒508. . 10.1364/boe.399020
[220]

Horisaki R, Takagi R, Tanida J. Deep-learning-generated holography. Appl Opt 2018;57(14):3859‒63. . 10.1364/ao.57.003859
[221]

Zheng H, Hu JB, Zhou CJ, Wang XX. Computing 3D phase-type holograms based on deep learning method. Photonics 2021;8(7):280. . 10.3390/photonics8070280
[222]

Hossein Eybposh M, Caira NW, Atisa M, Chakravarthula P, Pégard NC. DeepCGH: 3D computer-generated holography using deep learning. Opt Express 2020;28(18):26636‒50. . 10.1364/oe.399624
[223]

Peng YF, Choi S, Padmanaban N, Wetzstein G. Neural holography with camera-in-the-loop training. ACM Trans Graph 2020;39(6):185. . 10.1145/3414685.3417802
[224]

Peng YF, Choi S, Kim J, Wetzstein G. Speckle-free holography with partially coherent light sources and camera-in-the-loop calibration. Sci Adv 2021;7(46):eabg5040. . 10.1126/sciadv.abg5040
[225]

Wu JC, Liu KX, Sui XM, Cao LC. High-speed computer-generated holography using an autoencoder-based deep neural network. Opt Lett 2021;46(12):2908‒11. . 10.1364/ol.425485
[226]

Shi L, Li BC, Kim C, Kellnhofer P, Matusik W. Towards real-time photorealistic 3D holography with deep neural networks. Nature 2021;591(7849):234‒9. . 10.1038/s41586-020-03152-0
[227]

Gao H, Fan XH, Xiong W, Hong MH. Recent advances in optical dynamic meta-holography. Opto Electron Adv 2021;4(11):210030. . 10.29026/oea.2021.210030
[228]

Hu YQ, Luo XH, Chen YQ, Liu Q, Li X, Wang YS, et al. 3D-integrated metasurfaces for full-colour holography. Light Sci Appl 2019;8:86. . 10.1038/s41377-019-0198-y
[229]

Zou YJ, Zhu RR, Shen L, Zheng B. Reconfigurable metasurface hologram of dynamic distance via deep learning. Front Mater 2022;9:907672. . 10.3389/fmats.2022.907672
[230]

Kaikhah K, Loochan F. Computer generated holograms for optical neural networks. Appl Intell 2001;14:145‒60. . 10.1023/a:1008314025737
[231]

Keller PE, Gmitro AF. Design and analysis of fixed planar holographic interconnects for optical neural networks. Appl Opt 1992;31(26):5517‒26. . 10.1364/ao.31.005517
[232]

Li HYS, Qiao Y, Psaltis D. Optical network for real-time face recognition. Appl Opt 1993;32:5026‒35. . 10.1364/ao.32.005026
[233]

Goi E, Schoenhardt S, Gu M. Direct retrieval of Zernike-based pupil functions using integrated diffractive deep neural networks. Nat Commun 2022;13:7531. . 10.1038/s41467-022-35349-4
[234]

Mengu D, Ozcan A. All-optical phase recovery: diffractive computing for quantitative phase imaging. Adv Opt Mater 2022;10(15):2200281. . 10.1002/adom.202200281
[235]

Bai B, Luo Y, Gan T, Hu J, Li Y, Zhao Y, et al. To image, or not to image: class specific diffractive cameras with all-optical erasure of undesired objects. eLight 2022;2:14. . 10.1186/s43593-022-00021-3
[236]

Huang ZB, He YL, Wang PP, Xiong WJ, Wu HS, Liu JM, et al. Orbital angular momentum deep multiplexing holography via an optical diffractive neural network. Opt Express 2022;30(4):5569‒84. . 10.1364/oe.447337
[237]

Wang TY, Sohoni MM, Wright LG, Stein MM, Ma SY, Onodera T, et al. Image sensing with multilayer nonlinear optical neural networks. Nat Photonics 2023;17(5):408‒15. . 10.1038/s41566-023-01170-8
[238]

Miscuglio M, Hu ZB, Li SR, George JK, Capanna R, Dalir H, et al. Massively parallel amplitude-only Fourier neural network. Optica 2020;7(12):1812‒9. . 10.1364/optica.408659
[239]

O’Brien JL. Optical quantum computing. Science 2007;318(5856):1567‒70. . 10.1126/science.1142892
[240]

Knill E, Laflamme R, Milburn GJ. A scheme for efficient quantum computation with linear optics. Nature 2001;409(6816):46‒52. . 10.1038/35051009
[241]

Scala F, Nigro D, Gerace D. Deterministic entangling gates with nonlinear quantum photonic interferometers. 2023. arXiv:10.1038/s42005-024-01610-z
[242]

Kok P, Munro WJ, Nemoto K, Ralph TC, Dowling JP, Milburn GJ. Linear optical quantum computing with photonic qubits. Rev Mod Phys 2007;79(1):135‒74. . 10.1103/revmodphys.79.797
[243]

Zhong HS, Deng YH, Qin J, Wang H, Chen MC, Peng LC, et al. Phase programmable Gaussian boson sampling using stimulated squeezed light. Phys Rev Lett 2021;127(18):180502. . 10.1103/physrevlett.127.180502
[244]

Madsen LS, Laudenbach F, Askarani MF, Rortais F, Vincent T, Bulmer JFF, et al. Quantum computational advantage with a programmable photonic processor. Nature 2022;606(7912):75‒81. . 10.1038/s41586-022-04725-x
[245]

Deng YH, Gong SQ, Gu YC, Zhang ZJ, Liu HL, Su H, et al. Solving graph problems using gaussian boson sampling. Phys Rev Lett 2023;130(19):190601. . 10.1103/physrevlett.130.190601
[246]

Palmieri AM, Kovlakov E, Bianchi F, Yudin D, Straupe S, Biamonte JD, et al. Experimental neural network enhanced quantum tomography. NPJ Quantum Inf 2020;6:20. . 10.1038/s41534-020-0248-6
[247]

Bhusal N, Hong MY, Miller A, Quiroz-Juarez MA, Leon-Montiel RD, You CL, et al. Smart quantum statistical imaging beyond the Abbe-Rayleigh criterion. NPJ Quantum Inf 2022;8:83. . 10.1038/s41534-022-00593-5
[248]

Krenn M, Malik M, Fickler R, Lapkiewicz R, Zeilinger A. Automated search for new quantum experiments. Phys Rev Lett 2016;116(9):090405. . 10.1103/physrevlett.116.090405
[249]

Killoran N, Bromley TR, Arrazola JM, Schuld M, Quesada N, Lloyd S. Continuous-variable quantum neural networks. Phys Rev Res 2019;1(3):033063. . 10.1103/physrevresearch.1.033063
[250]

Steinbrecher GR, Olson JP, Englund D, Carolan J. Quantum optical neural networks. NPJ Quantum Inf 2019;5(1):60. . 10.1038/s41534-019-0174-7
[251]

Parthasarathy R, Bhowmik RT. Quantum optical convolutional neural network: a novel image recognition framework for quantum computing. IEEE Access 2021;9:103337‒46. . 10.1109/access.2021.3098775
[252]

Zuo Y, Cao CF, Cao NP, Lai XY, Zeng B, Du SW. Optical neural network quantum state tomography. Adv Photonics 2022;4(2):026004. . 10.1117/1.ap.4.2.026004
[253]

Ewaniuk J, Carolan J, Shastri BJ, Rotenberg N. Imperfect quantum photonic neural networks. Adv Quantum Technol. 2023;6(3):2200125. . 10.1002/qute.202200125
[254]

Rebentrost P, Mohseni M, Lloyd S. Quantum support vector machine for big data classification. Phys Rev Lett 2014;113(13):130503. . 10.1103/physrevlett.113.130503
[255]

Benedetti M, Lloyd E, Sack S, Fiorentini M. Parameterized quantum circuits as machine learning models. Quantum Sci Technol 2019;4(4):043001. . 10.1088/2058-9565/ab4eb5
[256]

Schuld M, Killoran N. Is quantum advantage the right goal for quantum machine learning? PRX Quantum 2022;3(3):030101. . 10.1103/prxquantum.3.030101
[257]

Wright LG, McMahon PL. The capacity of quantum neural networks. In: Proceedings of the 2020 Conference on Lasers and Electro-Optics (CLEO); 2020 May 10‒15; online. Washington, DC: Optica Publishing Group; 2020. p. JM4G.5. . 10.1364/cleo_at.2020.jm4g.5
[258]

Wang JW, Paesani S, Ding YH, Santagati R, Skrzypczyk P, Salavrakos A, et al. Multidimensional quantum entanglement with large-scale integrated optics. Science 2018;360(6386):285‒91. . 10.1126/science.aar7053
[259]

Politi A, Cryan MJ, Rarity JG, Yu SY, O’Brien JL. Silica-on-silicon waveguide quantum circuits. Science 2008;320(5876):646‒9. . 10.1126/science.1155441
[260]

Arrazola JM, Bergholm V, Brádler K, Bromley TR, Collins MJ, Dhand I, et al. Quantum circuits with many photons on a programmable nanophotonic chip. Nature 2021;591(7848):54‒60. . 10.1038/s41586-021-03202-1
[261]

Bao JM, Fu ZR, Pramanik T, Mao J, Chi YL, Cao YK, et al. Very-large-scale integrated quantum graph photonics. Nat Photonics 2023;17(7):573‒81. . 10.1038/s41566-023-01187-z
[262]

Elshaari AW, Pernice W, Srinivasan K, Benson O, Zwiller V. Hybrid integrated quantum photonic circuits. Nat Photonics 2020;14(5):285‒98. . 10.1038/s41566-020-0609-x
[263]

Wang JW, Paesani S, Santagati R, Knauer S, Gentile AA, Wiebe N, et al. Experimental quantum Hamiltonian learning. Nat Phys 2017;13(6):551‒5. . 10.1038/nphys4074
[264]

Ren HR, Shao W, Li Y, Salim F, Gu M. Three-dimensional vectorial holography based on machine learning inverse design. Sci Adv 2020;6(16):eaaz4261. . 10.1126/sciadv.aaz4261
[265]

Wang D, Li ZS, Zheng Y, Zhao YR, Liu C, Xu JB, et al. Liquid lens based holographic camera for real 3D scene hologram acquisition using end-to-end physical model-driven network. Light Sci Appl 2024;13:62. . 10.1038/s41377-024-01410-8
[266]

Isıl C, Mengu D, Zhao YF, Tabassum A, Li JX, Luo Y, et al. Super-resolution image display using diffractive decoders. Sci Adv 2022;8(48):eadd3433. . 10.1126/sciadv.add3433
[267]

Sakib Rahman MS, Ozcan A. Computer-free, all-optical reconstruction of holograms using diffractive networks. ACS Photonics 2021;8(11):3375‒84. . 10.1021/acsphotonics.1c01365
[268]

Rivenson Y, Wang HD, Wei ZS, de Haan K, Zhang YB, Wu YC, et al. Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning. Nat Biomed Eng 2019;3(6):466‒77. . 10.1038/s41551-019-0362-y
[269]

Mahecic D, Stepp WL, Zhang C, Griffie J, Weigert M, Manley S. Event-driven acquisition for content-enriched microscopy. Nat Methods 2022;19(10):1262‒7. . 10.1038/s41592-022-01589-x
[270]

Yuan SF, Ma C, Fetaya E, Mueller T, Naveh D, Zhang F, et al. Geometric deep optical sensing. Science 2023;379(6637):eade1220. . 10.1126/science.ade1220
[271]

Ashtiani F, Geers AJ, Aflatouni F. An on-chip photonic deep neural network for image classification. Nature 2022;606(7914):501‒6. . 10.1038/s41586-022-04714-0
[272]

Zhang QH, Gamekkanda JC, Pandit A, Tang WL, Papageorgiou C, Mitchell C, et al. Extracting particle size distribution from laser speckle with a physics enhanced autocorrelation-based estimator (PEACE). Nat Commun 2023;14:1159. . 10.1038/s41467-023-36816-2
[273]

Yan QQ, Deng QH, Zhang J, Zhu Y, Yin K, Li T, et al. Low-latency deep reinforcement learning algorithm for ultrafast fiber lasers. Photon Res 2021;9(8):1493‒501. . 10.1364/prj.428117
[274]

Pan XS, Zuo H, Bai H, Wu ZX, Cui XQ. Real-time wavefront correction using diffractive optical networks. Opt Express 2023;31(2):1067‒78. . 10.1364/oe.478492
[275]

Pai S, Sun ZH, Hughes TW, Park T, Bartlett B, Williamson IAD, et al. Experimentally realized in situ backpropagation for deep learning in photonic neural networks. Science 2023;380(6643):398‒404. . 10.1126/science.ade8450
[276]

Passalis N, Mourgias-Alexandris G, Pleros N, Tefas A. Adaptive initialization for recurrent photonic networks using sigmoidal activations. In: Proceedings of the 2020 IEEEInternational Symposium on Circuits and Systems ISCAS); 2020 Oct 12‒14; Seville, Spain. New York City: IEEE; 2020. p. 1‒5. . 10.1109/iscas45731.2020.9181106
[277]

Passalis N, Mourgias-Alexandris G, Tsakyridis A, Pleros N, Tefas A. Variance preserving initialization for training deep neuromorphic photonic networks with sinusoidal activations. In: Proceedings of the ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); 2019 May 12‒17; Brighton, UK. New York City: IEEE; 2019. p. 1483‒7. . 10.1109/icassp.2019.8682218
[278]

George J, Amin R, Mehrabian A, Khurgin J, El-Ghazawi T, Prucnal PR, et al. Electrooptic nonlinear activation functions for vector matrix multiplications in optical neural networks. In: Proceedings of the Advanced Photonics 2018; 2018 Jul 2‒5; Zurich, Switzerland. Washington, DC: Optica Publishing Group; 2018. p. SpW4G.3. . 10.1364/sppcom.2018.spw4g.3
[279]

Xu DY, Xu WH, Yang Q, Zhang WS, Wen SC, Luo HL. All-optical object identification and three-dimensional reconstruction based on optical computing metasurface. Opto Electron Adv 2023;6(12):230120. . 10.29026/oea.2023.230120
[280]

Yang YQ, Forbes A, Cao LC. A review of liquid crystal spatial light modulators: devices and applications. Opto-Electron Sci 2023;2(8):230026. . 10.29026/oes.2023.230026
[281]

Liao K, Chen Y, Yu ZC, Hu XY, Wang XY, Lu CC, et al. All-optical computing based on convolutional neural networks. Opto Electron Adv 2021;4(11):200060. . 10.29026/oea.2021.200060
AI Summary AI Mindmap
PDF (13477KB)

10062

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉