脑电信号光子处理器——基于衍射光子计算单元的癫痫发作检测

严涛 ,  张茂奇 ,  陈航 ,  万森 ,  商凯峰 ,  张海鸥 ,  曹讯 ,  林星 ,  戴琼海

工程（英文） ›› 2024, Vol. 35 ›› Issue (4) : 58 -68.

PDF (4910KB)
工程（英文） ›› 2024, Vol. 35 ›› Issue (4) : 58 -68. DOI: 10.1016/j.eng.2024.01.008
研究论文

脑电信号光子处理器——基于衍射光子计算单元的癫痫发作检测

作者信息 +

EEG Opto-Processor: Epileptic Seizure Detection Using Diffractive Photonic Computing Units

Author information +
文章历史 +
PDF (5027K)

摘要

脑电信号（EEG）分析能够从大脑信号中提取关键信息，实现脑部疾病诊断并为脑机接口提供重要支持。然而，以人工智能技术对脑电信号进行高能效分析，特别是使用大型神经网络模型，会给边缘计算设备上的电子处理器带来重大挑战。在此，我们提出了一种基于衍射光子计算单元（DPU）的脑电光子处理器，能够有效处理颅外和颅内脑电信号并检测癫痫发作。每个时间窗内的多通道脑电信号被光学编码，输入构建的衍射神经网络进行分类，该网络能够监测大脑状态，识别癫痫发作。我们开发了自由空间和集成DPU组建的边缘计算系统，并在波士顿儿童医院-麻省理工学院（CHB-MIT）颅外脑电数据集和Epilepsy-iEEG-Multicenter颅内脑电数据集上演示了它们在实时癫痫发作检测中的应用，显示在计算性能方面取得了出色的结果。我们设计了通道选择机制，在数值仿真和实验结果中都验证了所提出的光处理器用于监督临床诊断时具有足够高的检测精度。我们的研究为利用光子计算技术处理大规模脑电信号开辟了新的研究方向，并促进了光计算更广泛的应用。

Abstract

Electroencephalography (EEG) analysis extracts critical information from brain signals, enabling brain disease diagnosis and providing fundamental support for brain-computer interfaces. However, performing an artificial intelligence analysis of EEG signals with high energy efficiency poses significant challenges for electronic processors on edge computing devices, especially with large neural network models. Herein, we propose an EEG opto-processor based on diffractive photonic computing units (DPUs) to process extracranial and intracranial EEG signals effectively and to detect epileptic seizures. The signals of the EEG channels within a second-time window are optically encoded as inputs to the constructed diffractive neural networks for classification, which monitors the brain state to identify symptoms of an epileptic seizure. We developed both free-space and integrated DPUs as edge computing systems and demonstrated their applications for real-time epileptic seizure detection using benchmark datasets, that is, the Children’s Hospital Boston (CHB)-Massachusetts Institute of Technology (MIT) extracranial and Epilepsy-iEEG-Multicenter intracranial EEG datasets, with excellent computing performance results. Along with the channel selection mechanism, both numerical evaluations and experimental results validated the sufficiently high classification accuracies of the proposed opto-processors for supervising clinical diagnosis. Our study opens a new research direction for utilizing photonic computing techniques to process large-scale EEG signals and promote broader applications.

关键词

癫痫发作检测 / 脑电信号分析 / 衍射光子计算单元 / 光子计算

Key words

Epileptic seizure detection / EEG analysis / Diffractive photonic computing unit / Photonic computing

Highlight

・An EEG opto-processor is proposed to construct photonic neural networks that process analog EEG signals for epileptic seizure detections at high energy efficiency.

・Both free-space and integrated diffractive photonic computing units are designed to process extracranial and intracranial EEG signals efficiently and detect epileptic seizures.

・A channel selection mechanism is used to promote and validate the performance of the opto-processor for supervising clinical diagnosis.

引用本文

引用格式 ▾
严涛,张茂奇,陈航,万森,商凯峰,张海鸥,曹讯,林星,戴琼海. 脑电信号光子处理器——基于衍射光子计算单元的癫痫发作检测[J]. 工程（英文）, 2024, 35(4): 58-68 DOI:10.1016/j.eng.2024.01.008

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

脑电信号（EEG）通过电极测量大脑的电场来监测大脑的神经活动。在颅外脑电图中，电极放置在颅骨外，而在颅内脑电图（iEEG）中，电极直接植入大脑皮层。需要先进的信号处理和分析方法来准确解释复杂的脑电信号。深度学习方法[1]通过学习数据特征，在分析脑电信号方面具有相当大的优势，被广泛应用，如癫痫诊断和脑机接口、睡眠和认知监测[2‒4]。通常使用中央处理器（CPU）、图形处理单元（GPU）、现场可编程门阵列（FPGA）和专用集成电路（ASIC）在电子计算平台上实现基于人工神经网络（ANN）的深度学习架构[5]。随着脑电信号通道和数据规模的不断增加，在电子计算平台上使用深度学习处理脑电信号变得越来越耗电和耗时。因此，由于电源功率和计算速度的限制，在便携式和可穿戴应用的边缘计算设备上部署这些模型具有挑战性。此外，随着电子晶体管接近其物理极限，电子算力的增长变得越来越缓慢[6]。

光子计算被认为是未来计算系统的一种有前景的解决方案，因为它具有高能效和光速并行处理的优势[7]。近年来，光子神经网络（PNN）和光子集成电路的研究蓬勃发展[8‒9]，使得超快、低功耗的人工智能（AI）推理成为可能，为能耗严格限制场景下的高性能计算提供了关键支撑。PNN的各种有效架构已经被学者提出，包括脉冲神经网络[10]、卷积神经网络[11‒12]、强化学习[13]和储备池计算[14]。PNN的线性加权互连可以使用马赫-曾德尔干涉仪（MZI）[15]、衍射表面[16‒22]以及与波导连接的可调衰减器[10,23]网络等方法实现。PNN的非线性激活函数可以通过具有电磁诱导透明度的激光冷却原子[24]、带有谐振腔的干涉仪[25]和光电探测器（PD）驱动的MZI [26]等方法实现。目前，光子加速器能够以每秒数万亿次乘法累加运算的速度进行大规模并行计算[27‒28]。然而，大多数现有的PNN仅支持具有有限数量的神经元的简单神经网络架构，并且在复杂任务中的性能低于最先进的电子人工神经网络。衍射光子计算[16,19,21]支持数百万个神经元和任意线性变换，可用于构建更高级的架构来执行复杂的AI任务。

癫痫是一种严重的、反复的、突发的慢性神经系统疾病[29]。癫痫患者因意外癫痫发作而遭受严重身体伤害甚至死亡的风险很高。因此，使用自动化和便携式脑电图分析设备进行癫痫发作检测对于提醒护理人员和保护患者生命至关重要。已有研究提出了几种基于统计特征和机器学习分类器的癫痫发作检测方法[30‒31]，并且基于ANN的方法[32‒33]已经实现了先进的检测性能。与能耗密集型人工神经网络相比，PNN可以克服传统电子边缘设备在计算能力方面的局限性[34]，并为设计便携式和低功耗的癫痫发作检测设备提供希望。但是，迄今为止还没有此类设备被提出。

这里，我们提出了第一个光子架构来处理脑电信号并高精度检测癫痫发作。所提出的脑电图光子处理器基于衍射光子计算单元（DPU），实现了PNN架构，使用EEG和iEEG信号来检测癫痫发作（图1）。我们开发了一种具有高度紧凑光学系统的三维（3D）自由空间DPU，其中使用高数据吞吐量的空间光调制器（SLM）同时实现输入数据编码和衍射调制[图1（b）]。我们构建了衍射深度神经网络（D2NN），通过光学衍射实现加权互连的计算，利用光电转换进行非线性激活，并以电子方式控制数据流。此外，我们在硅光子学平台上设计了一种基于衍射线的多层结构的二维（2D）集成DPU [22,35‒37]，为实现可穿戴设备提供更高的集成密度和更低的功耗[图1（c）]。我们还在设计中引入了光学偏置模块，并验证了其在不平衡分类任务中的有效性。结果证明，基于DPU的D2NN成功处理了23通道EEG和30通道iEEG信号，并在波士顿儿童医院-麻省理工学院（CHB-MIT）数据集上以98.96%的准确率检测癫痫发作[38‒39]，在Epilepsy-iEEG-Multicenter数据集上准确率为94.49% [40]。此外，还开发了一种利用随机森林的通道选择方案来选择最重要的通道，并对其进行了理论和实验评估。本研究提出的系统有助于实现经济、高效和舒适的癫痫发作检测方案。

2 方法

2.1 基于EEG或iEEG信号的癫痫检测

在设计中，我们使用光子计算来分析和检测记录的脑电信号中的癫痫发作[图1（a）]。脑电图是监测脑活动最常用的方法之一，被认为是癫痫诊断和分析的最佳指标[41]。颅外EEG测量由脑神经元中的离子流引起的安装于头皮的电极之间的电压差，而iEEG是从植入电极获得的神经电生理信号。来自相应位置电极的不同通道脑电信号反映了大脑活动的空间和时间信息。癫痫发作的EEG或iEEG模式（如尖波）有助于癫痫发作的诊断。我们使用EEG和iEEG模式验证了所提出的EEG光子处理器的有效性。

2.2 3D自由空间DPU设计

我们开发了一种3D自由空间DPU，通过将EEG信号预处理成2D图像来执行任务，以便使用构建的大规模 D2NN架构进行分析[21]，如图1（b）所示。主要组件包括一个大规模可重构的SLM和一个光电探测器，它们可以编程以支持数百万个衍射神经元。输入数据再以光场相位的形式编码到输入节点，并通过衍射层进行调制，这些衍射调制参数可以根据特定的AI任务进行训练。输入节点通过光学衍射连接到输出神经元，并通过衍射调制产生可训练的连接权重。在衍射计算结果的光电转换过程中，测量的复数光场的强度和下一个输入层之间存在强度到相位的转换，实现了非线性激活函数。数据流以电子方式控制，以构建能够执行视频速率癫痫发作检测的多层PNN架构。与参考文献[21]中描述的设计相比，输入数据编码和相位调制均通过SLM实现，消除了额外的输入数据编码模块和相关中继光学器件，从而大大降低了系统的复杂性。

实验装置如图2（a）和（b）所示。使用波长为532 nm的紧凑型绿色激光二极管（CPS532, Thorlabs, Inc., USA）相干光源产生输入光场。使用两个透镜（AC050-008, AC254-100, Thorlabs）准直和扩展光束，使用偏振器（LPVISA050, Thorlabs）进行起偏，并使用分束器（CCM1-BS013, Thorlabs）进行分光。SLM（P1920-400-800, Meadowlark Optics, Inc., USA）根据D2NN的输入信息和训练参数调制波前相位。在衍射传播10 cm后，使用互补金属氧化物半导体（CMOS）传感器（GS3-U3-41C6M-C, Teledyne FLIR, Inc., USA）捕获光场并进行光电转换。该过程被多次复用以构建N层D2NN。

衍射计算过程可以表示为 y i = P d e x p j x i + H i 2，其中 x i 、 H i 、 P d ·和 y i分别表示输入、可训练调制参数、距离为 d自由空间衍射算子（附录A中的S1节）和D2NN的第i层输出。 x i + H i输入SLM以调制波前相位， y i是CMOS传感器采集的光强（即衍射计算结果）。 x 1是缩放到[0, 2π]的EEG或iEEG信号的2D特征图， x i通过非线性激活函数从 y i - 1   ( i > 1 )获得： x i = 2 π ⋅ s i g m o i d ( a i ⋅ y i - 1 + b i )，其中， a i和 b i是两个可训练的参数。由透镜准直和扩束的入射光在实验装置中是圆形的。为了确保实验结果和仿真结果的一致性，我们将光栅图案加载到SLM上，以确保 x i + H i所在的兴趣区域（ROI）之外的入射光在四个倾斜方向上传播（附录A中的图S1）。ROI外的光从光轴衍射出去，不会干扰ROI衍射。最后， y N表示N层D2NN的输出面，光学强度最高的目标区域表示癫痫发作检出结果。图2（c）显示了两层D2NN的衍射计算过程。使用预先收集和标记的数据训练网络衍射调制系数。 y N与真实值（目标检测区域为1，其他区域为0）之间的均方误差（MSE）被作为损失函数。采用角谱传播方法对D2NN的前向模型进行仿真，并通过随机梯度下降算法对 H i、 a i和 b i进行优化，对误差进行反向传播，以最小化损失函数。

我们构建了一个用于癫痫发作检测的两层D2NN。对于每个输入信号序列，在网络输出平面上设置代表癫痫发作和非癫痫发作状态的两个目标区域，其中具有较高光学强度的目标区域表示癫痫发作检测结果。此外，我们开发了一种自适应训练方法来处理系统误差，如激光功率的不稳定性、准直透镜的光学像差、SLM的相位调制误差、SLM和传感器之间的器件错位、散粒噪声和传感器的读出噪声。在两层D2NN实验中，我们用预训练模型部署了第一层的网络参数，并捕获了实验输出。随后，利用第一层的实验输出结果对第二层的调制系数进行重新训练，以纠正第一层的系统误差。为了解决第二层的系统误差，在第二层实验从D2NN输出平面获得的检测区域的两个强度之后，我们将第一个检测区域的强度乘以[0.9,1.1]内的因子c。对因子c进行了优化，以最大限度地提高训练数据集的分类性能。这个因子在推理过程中是固定的，能够解决光照不均匀引起的误差。在经过训练学习衍射调制系数后，D2NN执行光速推理，为患者提供视频速率和低功耗的癫痫发作检测。

2.3 2D集成DPU设计

我们提出了基于超材料[22,35]和片上光学器件的二维集成DPU设计，以进一步减小系统尺寸并提高可穿戴脑电分析的计算效率，如图1（c）所示。具体来说，来自片上激光器[42]的相干光使用多模干涉仪（MMI）或Y耦合器阵列被分束至多路单模波导。脑电信号的一维（1D）特征编码在具有片上调制器（如MZI）的波导中的幅度上。输入和输出波导的复数光场之间的加权互连是通过衍射计算模块实现的，衍射计算模块包含多层衍射线，它们是用于高能效计算的无源光学结构。每个衍射线都是绝缘体上硅衬底（SOI）结构的硅层中的一维蚀刻矩形二氧化硅槽（调制单元）阵列。调制单元的振幅和相位调制系数都是可学习的，可以通过调整槽的宽度和长度进行编程。在这项研究中，我们只训练了宽度（附录A中的图S2）。衍射计算模块可以垂直扩展以接收更高维的输入特征，也可以水平扩展以增加衍射参数和学习能力。

集成DPU在1550 nm的波长下运行。由于每个调制单元的调制系数是使用有限差分时域（FDTD）模拟在周期边界条件下计算的，因此我们使用二元调制并将三个相同的调制单元组合为一个衍射调制神经元，以方便制造并提高模型精度。调制单元的高度固定在400 nm，槽周期为300 nm。从0或100 nm中选择槽宽来实现二进制调制，相应相位调制系数为0或-1.55 rad（附录A的图S2和图S3）。

除了加权互连模块外，我们还引入了光学偏置模块来增强模型能力。偏置系数在不同波长下调制，并耦合到衍射计算模块的两个输出波导。利用PD光电转换实现非相干求和，以指示癫痫发作的检测结果。偏置模块可以调整输出阈值，这对于不平衡数据[43]（数据集中，多数类的数据量远大于少数类）尤其有效。例如，在癫痫发作检测任务中，患者的癫痫发作占少数，而非癫痫发作占多数。

3 结果

3.1 基于自由空间DPU的癫痫检测

我们使用麻省理工学院波士顿儿童医院CHB-MIT数据集[38‒39]的脑电信号验证了所提出的光学癫痫发作检测方法的有效性。它包含使用10~20国际脑电极放置系统获得的23名患者数小时的癫痫发作和非癫痫发作脑电图记录。CHB-MIT数据集被广泛用作癫痫发作检测的基准[31‒44]。与参考文献[33]类似，我们选择了8名癫痫发作持续时间足够（超过400 s）的患者在23个通道上的脑电图记录，以生成D2NN的训练和测试集。我们使用癫痫发作和随机选择的两小时非癫痫发作信号进行评估。所有脑电信号被分割成一秒钟的时间窗子序列并随机排列。一半癫痫发作数据和相同持续时间的非癫痫发作数据用于训练，而其余数据用于测试。我们对时间序列脑电图电压信号的一维向量进行预处理，以提取并生成有效的二维特征作为D2NN输入。由于癫痫脑电信号是非平稳的的，因此从原始的一维时间序列信号中提取有意义的统计特征对于它们的检测至关重要。我们采用短时傅里叶变换（STFT）对原始信号进行预处理，并提取包含时间和频率特征的有效二维特征[45‒46]。STFT可以很容易地在使用数字电子设备的可穿戴设备中实现，也可以使用高速和高带宽的光学解决方案实现[47‒48]。癫痫发作可引起某些频段的变化，如 δ  (0.4~4.0 Hz)、 θ  (4.0~8.0 Hz)、 α  (8.0~12.0 Hz)、 β  (12.0~30.0 Hz)和 γ  (30.0~70.0 Hz)频段[45,49]。脑电信号的能量主要集中在低频带，因此，我们将STFT的频率范围设置为0~50 Hz，将滑动窗口宽度设置为25个采样点。对于脑电信号的每个时间窗子序列，来自不同通道的信号被转换为STFT频谱，拼接成一张图像，并送入D2NN以检测癫痫发作。我们对频谱能量进行归一化，并将2D特征调整为400像素×400像素作为D2NN的输入。

选择信息丰富的脑电通道对于构建可穿戴医疗设备和实现癫痫发作检测的定制医疗方案至关重要。涉及整个大脑的全局性癫痫发作可以在脑电图的每个通道中看到，而部分性癫痫发作只能在靠近病灶的电极的几个通道中看到。可穿戴设备中的全通道脑电图监测面临着相当大的挑战，因为它昂贵、耗时、计算密集且佩戴不舒服。此外，无效通道会增加信号噪声，使检测更加困难。通道选择可以通过医学诊断病变位置或使用统计学方法来实现[44,50]。该过程仅在初步分析中完成，在随后的癫痫监测中不再重复。

我们应用随机森林通道选择方法[44]在多通道的CHB-MIT数据集上分析了D2NN的脑电分析性能（图3）。使用随机森林进行特征选择结合了滤波器和包装器方法的特性，具有更高的准确性、更少的过拟合、更好的泛化性能和易于解释等优点[50‒51]。通道选择流程如图3（a）所示，其中脑电信号首先被划分为具有一秒时间窗口的子序列。接下来，计算每个时间窗口内每个脑电通道的各个频段（δ、θ、α、β和γ）的功率谱密度，将每个时间窗口的信号转换成具有115个属性（23个通道和5个频段）的样本。这里使用包含1000个决策树的随机森林[52]来学习每个样本（具有115个属性的向量）的特征，并检测癫痫发作。随机森林已被证明对学习不相关特征具有鲁棒性[53]。在更新随机森林的过程（最小化不纯度的总和）中，冗余特征不会被选择，而携带有效信息的特征在这些树中出现得更频繁。因此，可以通过研究由该特征引起的随机森林中归一化的不纯度减少量来获得特征贡献百分比，这也称为Gini重要性。每个通道的贡献百分比是其五个属性贡献百分比的总和。例如，图3（a）的子图ⅳ展示了患者chb01的23个通道的贡献百分比（附录A中的表S1），最重要的通道是17。D2NN选择贡献百分比最高的通道进行癫痫发作检测。此外，随机森林还是癫痫发作检测的有效的机器学习分类器[31]，可作为基于D2NN的方法的性能参考。

基于上述通道选择方法，我们评估了D2NN在CHB-MIT数据集上的性能。本文使用准确性、灵敏度、特异性和 F 2分数等指标来评估癫痫检测的二分类性能。在医学领域， F β分数（通常 β=0.5,1,2）是精确率和召回率的加权调和平均值，比准确率更有用，尤其是当数据集不平衡时[54]。同时考虑到癫痫发作的时间仅占少数时间，这里采用 F 2分数，即 β=2，使召回率具有更大的权重，以避免漏诊[55]。我们研究了D2NN在不同层数下的性能，使用随机森林选择单通道信号（附录A中的图S4）。所有仿真模型均使用Python (v3.6.13)和TensorFlow (v1.11.0)进行数值仿真（Nvidia TITAN XP GPU，AMD Ryzen Threadripper 2990WX CPU，128 GB RAM和Microsoft Windows 10操作系统）。利用随机梯度下降和误差反向传播对衍射层的调制系数进行了优化，使用Adam优化器和0.01的学习率、MSE或交叉熵的损失函数。每个D2NN 都经过了1000个周期的训练。自由空间D2NN的训练时间约为4 h，每层衍射神经元为16万个，两层D2NN的平均准确率、灵敏度、特异性和 F 2分数分别为97.89%、91.92%、98.13%和0.8553，与三层模型相当。层数的进一步增加表现出较小的性能改进。此外，单层D2NN在训练过程中没有收敛，不适合这项任务。对于较大的通道数，结果也是类似的。因此，采用双层D2NN模型进行数值评估和实验。

D2NN在不同EEG通道数下的准确率和 F 2分数分别在图3（b）和（c）中以箱形图的形式表示。我们比较了Rand-D2NN、RF-D2NN和RF-RF三种方法的性能，它们分别表示随机的通道选择和D2NN分类，用随机森林进行通道选择和D2NN分类，用随机森林同时进行通道选择和分类。当使用少量通道时，RF-D2NN的准确率和 F 2分数均优于Rand-D2NN和RF-RF，证明了使用随机森林的通道选择方法的有效性。所有方法的性能都随着通道数的增加而提高，特别是Rand-D2NN和RF-RF方法。RF-D2NN模型使用单通道脑电信号就实现了足够高的性能，平均准确率为97.89%， F 2分数为0.8553，接近全通道RF-D2NN模型的平均准确率（98.96%）和 F 2分数（0.9161）。全通道RF-RF的平均准确率为98.88%， F 2分数为0.9335。此外，单通道RF-D2NN在不同患者中表现相对稳定，即准确率为95.43%~99.31%， F 2分数为0.7351~0.9261。敏感性和特异性指标也得出了相同的结论（附录A中的图S5）。仿真结果验证了采用随机森林进行通道选择的D2NN能够充分利用单信道信号信息进行高质量的癫痫发作检测。

我们使用两层模型和单通道脑电信号进行实验，以方便高效计算和信号采集。结果如图4所示。为了消除系统误差，我们利用第一层的实验结果，通过自适应训练对第二层的调制系数进行了微调。此外，将两个目标检测区域的强度乘以因子c，以减少光照不均匀的影响，提高检测精度。图4（a）显示了使用单通道脑电信号对患者chb01的D2NN的实验结果。正如预期的那样，D2NN成功地区分了癫痫发作和非癫痫发作样本，并将光集中到预定区域。实验结果的图像特征与仿真结果的图像特征非常吻合。图4（b）显示了两层D2NN的预训练参数和第二层微调之后的参数。图4（c）显示了200次癫痫发作和200次非癫痫发作的两个检测器区域的归一化强度。这种明显的差异使系统能够承受较小的噪声干扰。此外，我们评估了单通道模型对所有患者的数值和实验性能。如图4（d）所示，实验准确率、灵敏度、特异性和 F 2分数分别为96.84%±1.79%、92.81%±6.74%、96.98%±1.87%和0.8174±0.0868，与仿真中的97.89%±1.22%、91.92%± 7.62%、98.13%±1.27%和0.8553±0.0753基本吻合。准确率、特异性和 F 2分数分别降低约1%、1%和0.04，而实验中的灵敏度没有降低。每位患者的详细结果显示在附录A的表S2中，验证了单通道方法和实验设置的准确性和有效性。

除了EEG模式外，我们还利用DPU构建的D2NN来检测使用iEEG信号的癫痫发作。使用皮质脑电图（ECoG）数据来评估性能，这些数据选自Epilepsy-iEEG-Multicenter-Dataset [40]，具有足够的癫痫发作持续时间和清晰的发作标签（附录A中的表S1和表S2）。这里使用4 s的重叠时间和5 s的滑动窗口进行分割，并随机排列。训练集和测试集的划分方式与EEG信号的划分方式相同。为了评估自由空间DPU，由于iEEG信号的采样频率较高，STFT的频率范围设置为0~100 Hz，滑动窗口宽度设置为采样频率的一半。这些患者的每个iEEG信号序列包含大量癫痫发作信号，导致检测难度比CHB-MIT数据集更大，CHB-MIT数据包含长时间的非癫痫发作期。我们采用与脑电信号相同的特征提取、通道选择方法和D2NN模型，各种通道数量对应的性能如图5（a）所示。通道数设置为1、5、10、30时，平均准确率分别为90.93%、94.35%、94.31%和94.49%；平均敏感度分别为92.50%、93.32%、93.51%和94.03%；平均特异度分别为90.38%、96.06%、96.53%和95.68%； F 2分数分别为0.9132、0.9341、0.9351和0.9395。随着通道数的增加，性能缓慢提高。此外，单通道性能足够高，接近30通道性能。因此，与使用EEG信号检测癫痫发作一样，我们采用单通道iEEG信号来方便信号采集和系统简化。如图5（b）所示，实验准确率、灵敏度、特异性和 F 2分数分别为87.51%±4.65%、89.00%±5.86%、87.35%±7.91%和0.8755±0.0483，与仿真中的90.93%±3.58%、92.50%± 4.51%、90.38%±7.07%和0.9132±0.0340相当。实验中的准确率、灵敏度、特异性和 F 2分数分别降低了约3%、3%、5%和0.04。每位患者的详细结果见表S2。该模型对不同患者的泛化能力在附录A的图S6中进一步证明。此外，DPU构建的D2NN的性能与最先进的卷积神经网络AlexNet [56]兼容（表1、附录A中的图S7）。

3.2 基于集成DPU的癫痫检测

集成DPU设计成包括一层衍射线，有1800个衍射调制单元，即600个衍射神经元，用于处理EEG或iEEG信号，DPU宽度为540 μm。输入平面和输出平面之间的距离为200 μm，衍射线位于中心。输入波导的间隔为15 μm，两个输出波导的间隔为270 μm。

我们应用集成的DPU来检测来自CHB-MIT数据集的EEG信号的癫痫发作。为了减少DPU的输入端口数，在预处理过程中降低了STFT的时间和频率分辨率，并且仅利用随机森林选择的一个通道为每个时间窗口生成16维特征。我们用16个输入波导训练了集成DPU。图6（a）显示了使用FDTD模拟的光场传播的细节。理论模型和FDTD之间的充分匹配如图S3所示。我们用光学偏置模块对集成DPU进行了数值评估，如图6（b）和附录A中的表S3所示。当使用与自由空间D2NN相同的训练平台时，集成DPU模型的训练时间约为1小时。平均准确度、灵敏度、特异性和 F 2分数分别为97.68%、88.92%、98.01%和0.8385，但没有光学偏置模块时，分别下降到89.11%、76.61%、89.61%和0.5173。我们比较了三层电子全连接神经网络（三层FC）的性能，该网络在第一层和第二隐藏层中分别包含64个和16个神经元以及两个输出神经元和一个ReLU激活函数。三层FC的平均准确率、灵敏度、特异性和 F 2分数分别为98.24%、89.32%、98.61%和0.8547。结果验证了光学偏置模块在集成DPU中的有效性及其在癫痫发作检测中的成功应用。

进一步地，来自Epilepsy-iEEG-Multicenter-Dataset的iEEG信号的结果如图6（c）和表S3所示。平均准确度、灵敏度、特异度和 F 2分数分别为86.07%、82.82%、86.90%和0.8328，但没有光学偏置模块时分别下降到80.60%、76.45%、84.70%和0.7665。与CHB-MIT数据集相比，由于该数据集中癫痫发作期和非癫痫发作期的持续时间相似，因此观察到的性能下降较少。三层FC的平均准确度、灵敏度、特异性和 F 2分数分别为84.50%、81.88%、86.48%和0.8196，接近采用光学偏置模块的集成DPU。表1总结了与最先进（SOTA）的电子神经网络的性能比较。

4 讨论

4.1 计算速度与能量效率

我们使用构造的两层D2NN评估了3D自由空间DPU的计算性能。D2NN的每一层从400像素×400像素的输入图像生成相同大小的特征图，执行4002×4002的矩阵乘法，即在光域中 5.12 × 10 10次的逐像素乘法和求和运算。由于衍射光学计算是以光速进行的，因此计算速度由SLM的刷新率和相机的采集帧率决定。在实验中，SLM帧率为30 Hz，相机曝光时间为1 ms。STFT预处理和数据流控制时间为2.78 ms。因此，每个工作周期的总系统延迟为37.11 ms，对应27 Hz的系统帧率。自由空间DPU的计算速度为每秒 1.38 × 10 12次运算（1.38 TOPS）。激光、SLM、相机和控制器的功率分别为1.65 W、12.00 W、4.50 W和65.00 W，即系统总功率为83.15 W，能效为0.02 TOPS/W。此外，自由空间DPU系统中的SLM支持1920×1152个衍射神经元（即每个衍射计算周期的 9.78 × 10 12次运算）。因此，最大衍射计算速度为264.06 TOPS，最大能效为3.17 TOPS/W。使用高速SLM（例如，HSP1920-600-1300-HSP8, Meadowlark, 422.4 Hz），能源效率可以进一步提高10倍以上。

图1（c）中的二维集成DPU执行一个16×2权重矩阵，即每个周期有64次操作。考虑到基于现有硅光子代工厂的30 GHz调制器和探测器速率，计算速度为1.92 TOPS。片上激光源和调制器的典型功率分别为10 mW和15 mW [57]。集成的DPU需要两个激光器和18个调制器。因此，总功率为290 mW，能效为6.62 TOPS/W。最先进的GPU Tesla V100的能效为0.4 TOPS/W（附录A中的表S4）。因此，集成的DPU可将能量效率提高15倍以上。

4.2 局限与未来工作

我们展示了一种基于DPU的光子处理器，用于高效处理大规模脑电信号，可以应用于不同领域。例如，在脑机接口[58]中，iEEG信号通道数从数千个增加到数十万个，对高性能计算处理器的需求很高。此外，我们证明了采用通道选择方法的单通道脑电信号在癫痫发作检测方面表现出足够高的性能，即采集系统只需将一个电极连接到头皮上，方便其在可穿戴医疗设备中的应用。通过设计用于EEG信号采集和数据流控制的ASIC，可以减小自由空间 DPU的体积。基于STFT的特征提取方法可以在时域和频域中提取特征，可以更全面地挖掘脑电信号[45]。此外，通过调整STFT的时间窗口长度，可以实现不同的时间分辨率，以实现对脑电信号的局部或全局理解。

可重构的自由空间DPU包括数百万个衍射神经元，可以构建更复杂的神经网络架构，如衍射递归神经网络[21]，从而在处理时间序列信号和各种健康监测任务时获得更好的性能。集成DPU方案可以使用深紫外光刻技术制造，与电子集成电路高度兼容。可重构的非易失性材料，如相变材料（PCM）[27,59]，可被用于设计具有可编程网络参数和更高灵活性的衍射线。尽管本研究主要考虑了单通道模型，但对于更复杂的任务，可能需要更多的通道。基于波分复用（WDM）[27‒28]，可以进一步扩展所提出的EEG光子处理器的数据吞吐量，并且可以在每个波长上完成各个通道的光学处理。

5 总结

综上所述，我们成功展示了DPU构建PNN用于脑电信号处理，并将其应用于EEG和iEEG信号的癫痫发作检测。这项研究有望促进光子计算在医疗监测设备中的应用。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015;521(7553):436‒44. . 10.1038/nature14539
[2]

Craik A, He Y, Contreras‒Vidal JL. Deep learning for electroencephalogram (EEG) classification tasks: a review. J Neural Eng 2019;16(3):031001. . 10.1088/1741-2552/ab0ab5
[3]

Gao Z, Dang W, Wang X, Hong X, Hou L, Ma K, et al. Complex networks and deep learning for EEG signal analysis. Cogn Neurodynamics 2021;15(3):369‒88. . 10.1007/s11571-020-09626-1
[4]

Schirrmeister RT, Springenberg JT, Fiederer LDJ, Glasstetter M, Eggensperger K, Tangermann M, et al. Deep learning with convolutional neural networks for EEG decoding and visualization. Hum Brain Mapp 2017;38(11):5391‒420. . 10.1002/hbm.23730
[5]

Yao P, Wu H, Gao B, Tang J, Zhang Q, Zhang W, et al. Fully hardware-implemented memristor convolutional neural network. Nature 2020;577(7792):641‒6. . 10.1038/s41586-020-1942-4
[6]

Waldrop MM. The chips are down for Moore’s law. Nature 2016;530(7589):144‒7. . 10.1038/530144a
[7]

Caulfield HJ, Dolev S. Why future supercomputing requires optics. Nat Photonics 2010;4(5):261‒3. . 10.1038/nphoton.2010.94
[8]

Wetzstein G, Ozcan A, Gigan S, Fan S, Englund D, Soljačić M, et al. Inference in artificial intelligence with deep optics and photonics. Nature 2020;588(7836):39‒47. . 10.1038/s41586-020-2973-6
[9]

Shastri BJ, Tait AN, Ferreira de Lima T, Pernice WH, Bhaskaran H, Wright CD, et al. Photonics for artificial intelligence and neuromorphic computing. Nat Photonics 2021;15(2):102‒14. . 10.1038/s41566-020-00754-y
[10]

Feldmann J, Youngblood N, Wright CD, Bhaskaran H, Pernice WH. All-optical spiking neurosynaptic networks with self-learning capabilities. Nature 2019;569(7755):208‒14. . 10.1038/s41586-019-1157-8
[11]

Chang J, Sitzmann V, Dun X, Heidrich W, Wetzstein G. Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification. Sci Rep 2018;8(1):12324. . 10.1038/s41598-018-30619-y
[12]

Miscuglio M, Hu Z, Li S, George JK, Capanna R, Dalir H, et al. Massively parallel amplitude-only Fourier neural network. Optica 2020;7(12):1812‒9. . 10.1364/optica.408659
[13]

Bueno J, Maktoobi S, Froehly L, Fischer I, Jacquot M, Larger L, et al. Reinforcement learning in a large-scale photonic recurrent neural network. Optica 2018;5(6):756‒60. . 10.1364/optica.5.000756
[14]

Antonik P, Marsal N, Brunner D, Rontani D. Human action recognition with a large-scale brain-inspired photonic computer. Nat Mach Intell 2019;1(11):530‒7. . 10.1038/s42256-019-0110-8
[15]

Shen Y, Harris NC, Skirlo S, Prabhu M, Baehr‒Jones T, Hochberg M, et al. Deep learning with coherent nanophotonic circuits. Nat Photonics 2017;11(7):441‒6. . 10.1038/nphoton.2017.93
[16]

Lin X, Rivenson Y, Yardimci NT, Veli M, Luo Y, Jarrahi M, et al. All-optical machine learning using diffractive deep neural networks. Science 2018;361(6406):1004‒8. . 10.1126/science.aat8084
[17]

Yan T, Wu J, Zhou T, Xie H, Xu F, Fan J, et al. Fourier-space diffractive deep neural network. Phys Rev Lett 2019;123(2):023901. . 10.1103/physrevlett.123.023901
[18]

Rahman MSS, Li J, Mengu D, Rivenson Y, Ozcan A. Ensemble learning of diffractive optical networks. Light Sci Appl 2021;10(1):14. . 10.1038/s41377-020-00446-w
[19]

Kulce O, Mengu D, Rivenson Y, Ozcan A. All-optical synthesis of an arbitrary linear transformation using diffractive surfaces. Light Sci Appl 2021;10(1):196. . 10.1038/s41377-021-00623-5
[20]

Veli M, Mengu D, Yardimci NT, Luo Y, Li J, Rivenson Y, et al. Terahertz pulse shaping using diffractive surfaces. Nat Commun 2021;12:37. . 10.1038/s41467-020-20268-z
[21]

Zhou T, Lin X, Wu J, Chen Y, Xie H, Li Y, et al. Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit. Nat Photonics 2021;15(5):367‒73. . 10.1038/s41566-021-00796-w
[22]

Yan T, Yang R, Zheng Z, Lin X, Xiong H, Dai Q. All-optical graph representation learning using integrated diffractive photonic computing units. Sci Adv 2022;8(24):eabn7630. . 10.1126/sciadv.abn7630
[23]

Tait AN, De Lima TF, Zhou E, Wu AX, Nahmias MA, Shastri BJ, et al. Neuromorphic photonic networks using silicon photonic weight banks. Sci Rep 2017;7(1):7430. . 10.1038/s41598-017-07754-z
[24]

Zuo Y, Li B, Zhao Y, Jiang Y, Chen YC, Chen P, et al. All-optical neural network with nonlinear activation functions. Optica 2019;6(9):1132‒7. . 10.1364/optica.6.001132
[25]

Jha A, Huang C, Prucnal PR. Reconfigurable all-optical nonlinear activation functions for neuromorphic photonics. Opt Lett 2020;45(17):4819‒22. . 10.1364/ol.398234
[26]

Williamson IAD, Hughes TW, Minkov M, Bartlett B, Pai S, Fan S. Reprogrammable electro-optic nonlinear activation functions for optical neural networks. IEEE J Sel Top Quantum Electron 2020;26(1): 7700412. . 10.1109/jstqe.2019.2930455
[27]

Feldmann J, Youngblood N, Karpov M, Gehring H, Li X, Stappers M, et al. Parallel convolutional processing using an integrated photonic tensor core. Nature 2021;589(7840):52‒8. . 10.1038/s41586-020-03070-1
[28]

Xu X, Tan M, Corcoran B, Wu J, Boes A, Nguyen TG, et al. 11 TOPS photonic convolutional accelerator for optical neural networks. Nature 2021;589(7840):44‒51. . 10.1038/s41586-020-03063-0
[29]

Litt B, Echauz J. Prediction of epileptic seizures. Lancet Neurol 2002;1(1):22‒30. . 10.1016/s1474-4422(02)00003-0
[30]

Shoeb AH, Guttag JV. Application of machine learning to epileptic seizure detection. In: Proceedings of the 27th international conference on machine learning; 2010 Jun 21‒25; Haifa, Israel; 2010.
[31]

Siddiqui MK, Morales-Menendez R, Huang X, Hussain N. A review of epileptic seizure detection using machine learning classifiers. Brain Inform 2020;7:5. . 10.1186/s40708-020-00105-1
[32]

Zhou M, Tian C, Cao R, Wang B, Niu Y, Hu T, et al. Epileptic seizure detection based on EEG signals and CNN. Front Neuroinform 2018;12:95. . 10.3389/fninf.2018.00095
[33]

Daoud H, Bayoumi MA. Efficient epileptic seizure prediction based on deep learning. IEEE Trans Biomed Circuits Syst 2019;13(5):804‒13. . 10.1109/tbcas.2019.2929053
[34]

Zhang Q, Yu H, Barbiero M, Wang B, Gu M. Artificial neural networks enabled by nanophotonics. Light Sci Appl 2019;8:42. . 10.1038/s41377-019-0151-0
[35]

Wang Z, Chang L, Wang F, Li T, Gu T. Integrated photonic metasystem for image classifications at telecommunication wavelength. Nat Commun 2022;13:2131. . 10.1038/s41467-022-29856-7
[36]

Wang Z, Li T, Soman A, Mao D, Kananen T, Gu T. On-chip wavefront shaping with dielectric metasurface. Nat Commun 2019;10:3547. . 10.1038/s41467-019-11578-y
[37]

Fu T, Zang Y, Huang Y, Du Z, Huang H, Hu C, et al. Photonic machine learning with on-chip diffractive optics. Nat Commun 2023;14:70. . 10.1038/s41467-022-35772-7
[38]

Shoeb AH. Application of machine learning to epileptic seizure onset detection and treatment [dissertation]. Cambridge: Massachusetts Institute of Technology; 2009.
[39]

Goldberger AL, Amaral LA, Glass L, Hausdorff JM, Ivanov PC, Mark RG, et al. PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals. Circulation 2000;101(23):e215‒20. . 10.1161/01.cir.101.23.e215
[40]

Li A, Inati S, Zaghloul K, Crone N, Anderson W, Johnson E, et al. Epilepsy-iEEG-Multicenter-Dataset. 2021. OpenNeuro: ds003029:1.0.3.
[41]

French JA, Pedley TA. Initial management of epilepsy. N Engl J Med 2008;359(2):166‒76. . 10.1056/nejmcp0801738
[42]

Zhou Z, Yin B, Michel J. On-chip light sources for silicon photonics. Light Sci Appl 2015;4(11):e358. . 10.1038/lsa.2015.131
[43]

Zhou ZH, Liu XY. Training cost-sensitive neural networks with methods addressing the class imbalance problem. IEEE Trans Knowl Data Eng 2005;18(1):63‒77. . 10.1109/tkde.2006.17
[44]

Birjandtalab J, Pouyan MB, Cogan D, Nourani M, Harvey J. Automated seizure detection using limited-channel EEG and non-linear dimension reduction. Comput Biol Med 2017;82:49‒58. . 10.1016/j.compbiomed.2017.01.011
[45]

Tzallas AT, Tsipouras MG, Fotiadis DI. Epileptic seizure detection in EEGs using time-frequency analysis. IEEE Trans Inf Technol Biomed 2009;13(5):703‒10. . 10.1109/titb.2009.2017939
[46]

Boonyakitanont P, Lek‒Uthai A, Chomtho K, Songsiri J. A review of feature extraction and performance evaluation in epileptic seizure detection using EEG. Biomed Signal Process Control 2020;57:101702. . 10.1016/j.bspc.2019.101702
[47]

Li M, Yao J. All-optical short-time Fourier transform based on a temporal pulse-shaping system incorporating an array of cascaded linearly chirped fiber Bragg gratings. IEEE Photonics Technol Lett 2011;23(20):1439‒41. . 10.1109/lpt.2011.2162624
[48]

Xie X, Li J, Yin F, Xu K, Dai Y. STFT based on bandwidth-scaled microwave photonics. J Lightwave Technol 2021;39(6):1680‒7. . 10.1109/jlt.2020.3042985
[49]

Tatum WO, Ellen R. Grass lecture: extraordinary EEG. Neurodiagn J 2014;54(1):3‒21.
[50]

Alotaiby T, Abd El-Samie FE, Alshebeili SA, Ahmad I. A review of channel selection algorithms for EEG signal processing. EURASIP J Adv Signal Process 2015;2015:66. . 10.1186/s13634-015-0251-9
[51]

Chen RC, Dewi C, Huang SW, Caraka RE. Selecting critical features for data classification based on machine learning methods. J Big Data 2020;7:52. . 10.1186/s40537-020-00327-4
[52]

Breiman L. Random forests. Mach Learn 2001;45(1):5‒32. . 10.1023/a:1010933404324
[53]

Kursa MB. Robustness of random forest-based gene selection methods. BMC Bioinformatics 2014;15:8. . 10.1186/1471-2105-15-8
[54]

Powers DM. Evaluation: From precision, recall and F-measure to ROC, informedness, markedness and correlation. 2020. arXiv:
[55]

Devarriya D, Gulati C, Mansharamani V, Sakalle A, Bhardwaj A. Unbalanced breast cancer data classification using novel fitness functions in genetic programming. Expert Syst Appl 2020;140:112866. . 10.1016/j.eswa.2019.112866
[56]

Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun ACM;2017:60(6):84‒90. . 10.1145/3065386
[57]

Ashtiani F, Geers AJ, Aflatouni F. An on-chip photonic deep neural network for image classification. Nature 2022;606(7914):501‒6. . 10.1038/s41586-022-04714-0
[58]

Even‒Chen N, Muratore DG, Stavisky SD, Hochberg LR, Henderson JM, Murmann B, et al. Power-saving design opportunities for wireless intracortical brain-computer interfaces. Nat Biomed Eng 2020;4(10):984‒96. . 10.1038/s41551-020-0595-9
[59]

Wu C, Yu H, Lee S, Peng R, Takeuchi I, Li M. Programmable phase-change metasurfaces on waveguides for multimode photonic convolutional neural network. Nat Commun 2021;12:96. . 10.1038/s41467-020-20365-z
AI Summary AI Mindmap
PDF (4910KB)

Supplementary files

Supplementary Material

3717

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉