超广角眼底成像自动增强系统开发及促进临床诊断的多中心验证研究

韦巧玲 ,  谷卓遥 ,  谭伟敏 ,  孔虹雨 ,  付浩 ,  蒋沁 ,  庄文娟 ,  张少弛 ,  封利霞 ,  刘勇 ,  李甦雁 ,  秦兵 ,  陆培荣 ,  赵江月 ,  李志刚 ,  袁松涛 ,  严宏 ,  章淑杰 ,  竺向佳 ,  洪佳旭 ,  赵晨 ,  颜波

工程（英文） ›› 2024, Vol. 41 ›› Issue (10) : 186 -197.

PDF (7948KB)
工程（英文） ›› 2024, Vol. 41 ›› Issue (10) : 186 -197. DOI: 10.1016/j.eng.2024.05.006
研究论文

超广角眼底成像自动增强系统开发及促进临床诊断的多中心验证研究

作者信息 +

Development and Validation of an Automatic Ultrawide-Field Fundus Imaging Enhancement System for Facilitating Clinical Diagnosis: A Cross-Sectional Multicenter Study

Author information +
文章历史 +
PDF (8138K)

摘要

在眼科领域，无论是临床实践还是人工智能（AI）辅助诊断，眼底图像的质量对于准确诊断至关重要。尽管超广角（UWF）眼底成像提供了广泛视野，但伪彩色图像可能会掩盖一些关键病变，影响诊断的精确性。为了解决这一问题，我们引入了UWF-Net，这是一种将疾病特征考虑在内的复杂图像增强算法。UWF-Net基于复旦大学超广角眼底图像（FDUWI）数据集开发，该数据集包含11 294张Optos伪彩UWF图像和2415张蔡司（Zeiss）真彩UWF图像，所有图像都经过严格标注。该模型融合全局风格建模与特征层面的病变增强。为了保持眼底特征的完整性，UWF-Net还应用了病理一致性损失，显著提升了图像质量。定量和定性评估均表明，UWF-Net在多方面优于现有方法，如限制对比度自适应直方图均衡化（CLAHE）和结构与光照约束生成对抗网络（StillGAN），它在图像质量、图像质量评分以及增强后的特征细节保留方面表现更佳。在疾病分类任务中，经UWF-Net增强的图像通过现有分类系统处理后，效果明显优于StillGAN增强图像，灵敏度（SEN）提高了4.62%，准确率（ACC）提高了3.97%。在多中心临床研究中，UWF-Net增强图像受到眼科技术人员和医生的偏好，显著缩短了诊断时间[UWF-Net增强图像为(13.17 ± 8.40) s，原始图像为(19.54 ± 12.40) s]，并提高了诊断准确率（UWF-Net增强图像为87.71%，原始图像为80.40%）。本研究验证了UWF-Net能显著提升UWF图像质量，促进更优的临床诊疗结果，并提高AI辅助疾病分类的可靠性。UWF-Net在临床中的应用前景广阔，有望优化眼科诊断流程和患者护理质量。

Abstract

In ophthalmology, the quality of fundus images is critical for accurate diagnosis, both in clinical practice and in artificial intelligence (AI)-assisted diagnostics. Despite the broad view provided by ultrawide-field (UWF) imaging, pseudocolor images may conceal critical lesions necessary for precise diagnosis. To address this, we introduce UWF-Net, a sophisticated image enhancement algorithm that takes disease characteristics into consideration. Using the Fudan University ultra-wide-field image (FDUWI) dataset, which includes 11 294 Optos pseudocolor and 2415 Zeiss true-color UWF images, each of which is rigorously annotated, UWF-Net combines global style modeling with feature-level lesion enhancement. Pathological consistency loss is also applied to maintain fundus feature integrity, significantly improving image quality. Quantitative and qualitative evaluations demonstrated that UWF-Net outperforms existing methods such as contrast limited adaptive histogram equalization (CLAHE) and structure and illumination constrained generative adversarial network (StillGAN), delivering superior retinal image quality, higher quality scores, and preserved feature details after enhancement. In disease classification tasks, images enhanced by UWF-Net showed notable improvements when processed with existing classification systems over those enhanced by StillGAN, demonstrating a 4.62% increase in sensitivity (SEN) and a 3.97% increase in accuracy (ACC). In a multicenter clinical setting, UWF-Net-enhanced images were preferred by ophthalmologic technicians and doctors, and yielded a significant reduction in diagnostic time ((13.17 ± 8.40) s for UWF-Net enhanced images vs (19.54 ± 12.40) s for original images) and an increase in diagnostic accuracy (87.71% for UWF-Net enhanced images vs 80.40% for original images). Our research verifies that UWF-Net markedly improves the quality of UWF imaging, facilitating better clinical outcomes and more reliable AI-assisted disease classification. The clinical integration of UWF-Net holds great promise for enhancing diagnostic processes and patient care in ophthalmology.

关键词

超广角眼底成像 / 眼底摄影 / 图像增强算法 / 人工智能 / 多中心研究 / 人工智能辅助诊断 / 诊断准确率

Key words

Ultrawide-field imaging / Fundus photography / Image enhancement algorithm / Artificial intelligence / Multicenter study / Artificial intelligence-assisted diagnostics / Diagnostic accuracy

引用本文

引用格式 ▾
韦巧玲,谷卓遥,谭伟敏,孔虹雨,付浩,蒋沁,庄文娟,张少弛,封利霞,刘勇,李甦雁,秦兵,陆培荣,赵江月,李志刚,袁松涛,严宏,章淑杰,竺向佳,洪佳旭,赵晨,颜波. 超广角眼底成像自动增强系统开发及促进临床诊断的多中心验证研究[J]. 工程（英文）, 2024, 41(10): 186-197 DOI:10.1016/j.eng.2024.05.006

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

眼底摄影（FP）已成为医疗人工智能（AI）研究领域中的关键组成部分，通过提供高质量的图像数据，为相关算法实现对视网膜及系统性疾病的高效、精准诊断提供了基础支撑。基于FP的AI系统引领了低成本、高覆盖率的疾病筛查新时代，快速便捷的诊断能力显著推动了医疗服务的普及化。然而，有报道指出，约有21%的眼底照片无法被AI检测或被错误分类[1]，这暴露了AI在真实临床环境中的一项关键挑战，不仅影响模型性能，也制约了其临床应用的可行性。随着AI的不断发展，临床对高质量眼底图像的依赖日益增强，突显其在AI实际部署中的重要作用[1‒2]。

传统窄角FP成像范围仅覆盖视网膜的45度范围，是眼科AI开发中最早且最广泛使用的资源，其这种成像模式虽具有基础性作用，但存在明显局限性，如难以反映视网膜周边病变，从而限制了病情分析的全面性。相比之下，超广角（UWF）眼底成像实现了重大技术突破，尤其是利用Optos Daytona P200T 等先进设备时，一次成像可覆盖200度视网膜全景。此外，UWF成像具备较强的穿透能力，即使在存在严重白内障或玻璃体混浊等不利条件下，也常可在无需散瞳的情况下完成检查。然而，近期研究指出，UWF眼底成像固有的伪彩图像特性可能会掩盖关键的眼底体征细节从而影响诊断的准确性[3‒4]。增强型超广角成像技术兼具真实色彩还原与病变可见度提升，有望在临床实践中显著提高眼底病变的检出率。若进一步将其与人工智能系统融合，预计将为眼科诊疗模式带来深刻变革，推动疾病发现与管理向更全面、更精准的方向发展。

自动UWF眼底成像增强技术的探索仍处于起步阶段，主要受制于匮乏的图像数据集。值得关注的是，如糖尿病视网膜病变辅助智能诊断系统（DeepDR）等现有数据集，仅包含256张图像，难以开发强健的增强算法。目前图像增强算法的研究主要有小波变换[5]、限制对比度自适应直方图均衡化（CLAHE）[6]以及非下采样轮廓波变换（NSCT）[7‒8]等，这些算法局限于增强窄角眼底图像。然而，这些技术可能无法充分捕捉关键病变区域的细微差异，这一问题在UWF眼底成像的广泛视野中尤为突出。如循环一致性生成对抗网络（CycleGAN）[9‒11]的无监督深度学习方法，无需配对图像，但也可能在转换过程中丢失细节。即使是诸如结构与光照约束生成对抗网络（StillGAN）[12]这样的复杂算法，虽然能够保留图像细节，但在应对一定的UWF眼底成像挑战时依然有所欠缺，凸显出针对UWF眼底增强图像的专业化研究需求。

在眼科临床实践中，从Optos UWF系统中获取高质量配对图像存在困难，所以通常更倾向于采用无监督增强技术。理想的UWF增强技术应能够校正伪彩差异和伪影，同时增强病变信号。蔡司（Zeiss）UWF系统以其真实色彩和高分辨率成像在UWF中脱颖而出，而且能够提供精细的眼底后极区域图像。然而，该系统存在视野范围较Optos UWF系统窄、在眼屈光介质严重浑浊情况下的成像效果差、周边视网膜成像失真等局限性，未能完全匹敌Optos的UWF系统[3,13]。图1展示了这些视网膜成像系统的比较特征。为应对相关挑战，我们整合了来自Optos和Zeiss系统的综合性UWF数据集，由视网膜专家进行了详细标注。在此数据集的基础上，我们开发了超广角眼底成像增强网络（UWF-Net），这是一种旨在增强Optos图像的高级算法。我们的比较分析表明，UWF-Net不仅能够保留疾病的关键细节，而且在图像质量和临床适用性方面优于StillGAN等其他方法。UWF-Net的临床效果，特别是在AI辅助诊断中，已通过眼科专家的广泛评估和验证得到证实。

2 实验方法

2.1 数据准备

Optos和Zeiss的UWF眼底图像来自中国复旦大学附属医院眼耳鼻喉科（EENT）的眼科门诊。研究方案已获得复旦大学EENT医院伦理委员会的批准（批准号：2023427），并遵循《赫尔辛基宣言》的原则。患者隐私经由全面匿名化流程得到严格保护。图像标注由四位眼科医生共同完成，并参照临床病历以确保标注的准确性。对于标注中的分歧，均由一名资深专家最终裁定。最终形成复旦大学超广角眼底图像（FDUWI）数据集。其中，FDUWI-1包含11 294张Optos图像，每张图像的分辨率为3070 × 3900像素（Daytona; Optos®，英国）。FDUWI-2包含2415张Zeiss图像，分辨率范围为4000~6700像素不等（Clarus 500; Carl Zeiss Meditec AG，德国），包括单张图像和复合图像。数据集的构建和标注过程如图2（a）的工作流程所示。

2.2 UWF-Net架构

我们基于Zhu等[9]提出的模型建立了UWF-Net的生成器。该架构包括三个卷积层、九个残差块[14]以及上采样层，最终输出红绿蓝（RGB）映射层。每个卷积层后都跟随实例归一化[15]，残差块则结合了卷积（实例归一化）修正线性单元（ReLU）序列，并通过快捷连接提高性能。UWF-Net的判别器架构改编自基于图块的生成对抗网络（PatchGAN）[16]，非常适合处理高分辨率UWF眼底图像。

UWF-Net是在Nvidia GTX 1080Ti图形处理单元（GPU）上使用PyTorch框架开发的。训练过程中采用了Adam优化器，初始学习率设置为2 × 10-2，批处理大小为2。加权参数设置为α = 5.0，β = 40。在研究中，我们对分辨率为3070 × 3900像素的UWF眼底图像进行了随机裁剪，生成512 × 512像素的子图像。这些子图像被存储下来并在训练中检索使用，以减少计算负荷并加快训练过程。在将图像数据输入网络之前，应用了包括水平翻转和随机裁剪在内的数据增强技术，进一步降低图像分辨率，从而获得256 × 256像素的统一训练图像分辨率。在推理阶段，将全原始分辨率图像直接输入网络，以确保所需的高分辨率输出，并保留更精细的细节，这对于精确分析至关重要。

如图2（b）所示，UWF-Net将全局风格建模和特征级病变细化相结合，汲取了UWF疾病分类网络的经验，旨在保留小病变和复杂的解剖结构等病理特征，从而优化图像增强过程。

图2（b）还展示了UWF-Net的主干结构，包括两个编码器和一个病理感知注意力模块。这一模块使用了预训练的卷积神经网络（CNN），特别是残差网络-101（ResNet-101）[14]，以及卷积块注意力模块（CBAM）[17]，用于提取并编码关键病变数据到特征图F e，其中F e代表病理感知疾病特征。我们通过引入非对称损失（ASL）[18]进一步提升了网络性能，以解决疾病标注不平衡的问题。该网络结构包含两个生成器和两个判别器，将UWF眼底图像增强概念视为从低质量的Optos图像（A区）到更高质量的Zeiss图像（B区）之间的领域转换。在训练过程中，网络同时使用来自两个领域的样本： a i i = 1 N，其中ai ∈ A，N是A区中数据集的大小； b j j = 1 M，其中bj ∈B，M是B区中数据集的大小。网络学习映射关系：GA2B : A→B和GB2A : B→A，其中判别器DA 和DB 用于区分真实图像和生成图像。

该网络使用身份映射损失来正则化两个生成器，确保当输入图像已经属于目标领域的实际样本时，生成器输出图像尽可能接近输入图像。身份映射损失L idt定义为：

L i d t ( G A 2 B , G B 2 A ) = E a ∈ A | | G A 2 B ( a ) - a | | 1 +                            E b ∈ B | | G B 2 A ( b ) - b | | 1

式中，E表示期望值，量化了A区和B区中各自所有样本的身份映射误差的平均幅度。

转换损失结合了对抗损失[19]和身份映射损失，其中对抗损失L adv应用于两个映射。其定义如下：

L a d v ( G A 2 B , G B 2 A , D A , D B ) = E b ∈ B l o g D B ( b ) + E a ∈ A ( l o g 1 - D B G A 2 B ( a ) ) + E a ∈ A l o g D A ( a ) + E b ∈ B ( l o g 1 - D A G B 2 A ( b ) )

整体转换损失L trans为这些损失的总和：

L t r a n s ( G A 2 B , G B 2 A , D A , D B ) = L a d v ( G A 2 B , G B 2 A , D A , D B ) + α L i d t ( G A 2 B , G B 2 A )

式中，参数α根据实验设定为α = 5.0，用于控制L adv和L idt之间的相对重要性。

病理一致性损失对于保持医学图像的真实性至关重要，确保重建后的图像能够准确反映原始病理特征。对于每一张输入图像a ∈ A，该网络会生成对应的重建图像 a ˜；同样地，对于每一张输入图像b ∈ B，该网络也会确保重建图像 b ˜中病理特征的保留。因此，病理一致性损失L pc定义为：

L p c ( D C N ) = 1 / ( C × H × W ) F D C N ( a ) - F D C N ( a ˜ ) 1 + 1 / ( C × H × W ) F D C N ( b ) - F D C N ( b ˜ ) 1

式中，C × H × W表示特征图的维度；F DCN表示由预训练的疾病分类网络（DCN）提取的病理感知特征图F e。

UWF-Net的复合目标函数平衡了转换损失和病理一致性损失，定义为：

L ( G A 2 B , G B 2 A , D A , D B ) = L t r a n s ( G A 2 B , G B 2 A , D A , D B ) + β L p c ( D C N )

式中，参数β根据经验设定为40，用于平衡模型中转换损失和病理一致性损失的相对重要性。

2.3 UWF眼底图像质量评估基准

为了填补当前UWF眼底图像质量资源的空白，并与现有的窄角眼底数据集（如EyeQ [20]、HRF [21]和DR2 [22]）区分开来，我们开发了一个专门用于UWF眼底图像质量评估的独特数据集，该数据集来源为FDUWI-2集合，包含了1000张使用Zeiss设备采集的UWF视网膜图像。共有23名机器学习工程师参与质量评估，评估标准如下：亮度和清晰度均匀的图像评分为3分；存在轻微亮度或对比度问题，但仍能满足分析需求的图像评分为2分；存在明显问题，如亮度波动较大、对比度低或严重模糊，影响分析效果的图像评分为1分。每位工程师均独立评估1000张图像。为验证评分的一致性，采用了Kruskal-Wallis卡方检验，结果显示P值为1，超过了0.05的阈值，表明不同工程师之间的评分没有显著差异。随后计算每张图像的平均评分，以对图像质量进行分类：平均评分为2.5或以上的图像被归类为“良好”；评分在1.5到2.5之间的图像被归类为“可用”；评分为1.5或以下的图像被归类为“拒绝”[23]。最终数据集包括177张“良好”图像、590张“可用”图像和233张“拒绝”图像，为UWF眼底图像质量评估提供了全面基准。该评估方法如图3（a）所示。

2.4 统计分析

为评估UWF-Net在UWF眼底图像疾病分类中的效果，我们采用了多个统计方法，如平均精度（mAP）、灵敏度（SEN）、曲线下面积（AUC）、准确率（ACC）和F 1分数。与原始图像的性能相比，这些指标促进了对每种图像增强方法的性能评估。

我们开展了一项诊断效率研究来进行临床验证，该研究涉及多个医疗中心的眼科医生，采用Welch's t检验，比较了UWF-Net增强数据集与原始数据集在诊断时间（包括分析不同疾病的诊断时间）和整体准确性方面的差异。此外，我们还应用了带有Yates连续性校正的Pearson卡方检验，以研究特定疾病的误诊率，此举旨在评估UWF-Net增强技术在特定诊断场景中的效果。所有统计分析均使用R软件（版本4.2.3）进行，图表使用GraphPad Prism 6.0和Photoshop制作，若P值小于0.05则被视为具有统计学显著性。

3 实验结果

在评估中，UWF-Net的性能与多种现有及新兴的图像增强技术进行了对比，包括CLAHE [6]、暗通道先验（DCP）[23]、低光照图像增强（LIME）[24]、StillGAN [12]、零参考深度曲线估计（Zero-DCE）[25]以及低照度图像增强的无监督生成对抗网络（EnlightenGAN）[26]。我们对UWF图像参数进行了优化，并且已根据深度学习算法对数据预处理进行了标准化。评估指标包括眼底图像质量评估（FIQA）得分和疾病分类准确率。

UWF眼底增强图像的FIQA得分通过两种不同的网络进行评估。首先，主要针对窄角FIQA设计的多种颜色空间融合网络（MCF-Net）[20]在EyeQ数据集[20]上进行了训练，用于定量评估UWF增强图像。为了进一步将质量评估方法专门适应于UWF图像的特点，我们开发了一种专门的UWF-FIQA，它基于密集卷积网络（DenseNet-121）架构[27]，并结合我们精确标注的质量数据集进行训练。UWF-FIQA在预测FIQA得分方面达到了83.0%的准确率。这些FIQA得分是通过MCF-Net系统和DenseNet-121系统确定的，评估基于“良好”图像在所有评估图像中的比例。得分越高，表示增强效果越好。我们对评估的综合结果（包括分类结果和质量评分），已在表1中汇总。UWF-Net这一卓越的增强方法，在MCF-Net系统和DenseNet-121系统中分别取得了9.2%和18.8%的质量评分。值得一提的是，UWF-Net将大量原本被归类为“拒绝”的图像提升为“良好”状态：在MCF-Net系统中提升了52张，在DenseNet-121系统中提升了106张。图3（b）中的视觉对比结果展示了UWF-Net在保留关键视盘细节和真实色彩还原方面的优势，远超其他在色彩保真度和参数敏感度方面存在问题的方法。UWF-Net的增强效果显著提升了图像的真实感和质量，代表着眼科AI应用和临床诊断领域的一大突破。

为了评估图像质量改善对疾病分类效果的影响，我们首先使用了一个ResNet-101 [14]分类器，该分类器在原始图像和UWF-Net增强图像上均进行了训练。结果表明，如图3（c）混淆矩阵所示，在使用UWF-Net增强图像后，增殖性糖尿病视网膜病变（PDR）、黄斑前膜（ERM）和病理性近视（PM）的识别效果有显著改善。值得关注的是，这些增强处理有助于保持对黄斑病变的强大检测能力。对比分析表明，使用UWF-Net增强图像相较于StillGAN等方法可以获得更高的SEN和AUC指标，在使用ResNet-101作为骨干网络架构时，SEN提高了4.62%，ACC提高了3.97%，具体见表2。尽管像DCP这样的技术在分类上具有一定优势，但它们往往会损害图像的真实性，尤其是在色彩还原和视盘可见度方面，而这些问题则被UWF-Net通过改进视觉保真度得到有效解决。

为了进一步评估图像质量提升对先进模型分类效果的影响，我们额外引入了分类器，包括ViT-base-patch16-224[28]和DenseNet-121 [27]，以及一个针对视网膜图像的前沿基础模型（RETFound），该模型使用了ViT-large-patch16-224骨干网络[29]。这些扩展实验的综合结果详见表2。使用ViT-base-patch16-224骨干网络时，经过UWF-Net增强的图像在mAP、ACC和F 1分数上均达到了最高值。使用DenseNet-121骨干网络时，增强图像在这些指标上也表现出了类似优势。应用RETFound模型后，ACC、SEN和F 1分数也显著提高，表明UWF-Net显著提升了分类效果。

我们的研究将病理一致性损失纳入UWF-Net框架，确保在图像增强后保持医学图像的保真度。为了评估这一方法对增强后的视网膜图像质量和疾病分类效果的影响，我们采用CycleGAN框架[9]进行消融实验，并结合U-Net[30]进行血管分割，图像来源于用于血管提取的数字视网膜图像（DRIVE）数据集。除了循环一致性损失外，我们还采用了分割损失（L seg），以实现与血管分割网络的同步，并结合受StillGAN方法启发的结构相似性损失（L ssim）[31]。表3显示，病理一致性损失显著提升了疾病分类的各项指标，包括mAP、SEN和AUC。尽管L ssim在通过MCF-Net评估时取得了较高的FIQA分数，但它未能有效保留关键的病理特征，导致疾病分类准确率下降。相反，引入病理一致性损失后，分类性能明显改善。图3（d）展示了对正常和模糊眼底图像增强的结果。我们的方法侧重于提高视盘和黄斑区域的清晰度，克服了基线方法在保留关键细节方面的局限性，避免了分割方法过度集中于血管部分的局限性，同时解决了结构相似性方法导致的过度平滑问题。通过引入病理一致性损失，我们的方法不仅能够显著提高关键区域的清晰度，还能有效保留对疾病准确诊断至关重要的病理特征。附录A中的图S1展示了原始UWF图像与UWF增强图像对比，增强处理分别通过UWF-Net和基线增强方法（未使用病理一致性损失）进行，以此凸显了整合病理一致性损失所带来的优势。

为了评估UWF-Net的临床效果，我们首先在复旦大学附属EENT医院开展了一项偏好调查，邀请了23名眼科专家参与。专家们对50组UWF眼底图像进行了评估，每组图像包含一张原始图像和三张分别经过UWF-Net、L ssim和StillGAN方法改进的图像，这些方法在之前的视网膜图像质量评估中表现优异。他们根据眼底图像的视觉质量进行选择，重点评估图像与真实眼底颜色的相似度，这对诊断至关重要。所选图像涵盖了各种视网膜情况，具体包括：9张正常视网膜图像、5张黄斑变性图像、1张急性视网膜坏死综合征（ARN）图像、2张PDR图像、2张视网膜色素变性（RP）图像、2张视网膜血管炎图像、3张玻璃膜疣图像、10张周边视网膜变性图像、6张PM图像、6张视盘异常图像和4张ERM图像，每位专家评估了共计200张图像。此评估方法，详情如图4（a）所示的流程图，展示了对不同病理情况的深入评估。

为确保评审反馈的公正性，研究特别设计一款移动应用程序（app）支持盲评过程，每位专家将会随机看到四张图像：一张原始图像和三张增强图像。调查结果（表4）充分体现出UWF-Net增强图像在还原真实眼底色彩方面表现优异，证明了其在诊断中的高效性和临床价值。

为进一步评估UWF-Net的诊断性能并探索其在特定疾病中的优势，我们在中国八个省份的十二个眼科中心进行了全面的多中心研究，如图4（b）所示。在这项研究中，眼科专家使用移动app评估了涵盖十种不同病症的30张图像，UWF-Net增强图像和原始图像的分布如下：老年性黄斑变性（AMD；2张增强图像，1张原始图像）、ARN（1张增强图像，2张原始图像）、视网膜分支静脉阻塞（BRVO；1张增强图像，2张原始图像）、中心性浆液性脉络膜视网膜病变（CSC；2张增强图像，1张原始图像）、糖尿病视网膜病变（DR；2张增强图像，1张原始图像）、ERM（1张增强图像，2张原始图像）、黄斑裂孔（MH；1张增强图像，2张原始图像）、视网膜裂孔（RH；两组各2张）、RP（1张增强图像，2张原始图像）、和Vogt-小柳-原田（VKH）病（两组各1张）。两组图像在病理特征和病变位置上进行了精确匹配。诊断过程采用标准缩写，记录了诊断时间、准确率和误诊细节。

根据182名医生的数据分析，UWF-Net增强图像准确率达到了87.71%，显著高于原始图像的80.40%。在多个病症中，尤其是在DR、VKH病、RP、ARN、BRVO、CSC、ERM和MH的诊断中，增强图像准确率有大幅提高，特别是在后五种病症中提升尤为显著，详见图5（a）和（b）。此外，UWF-Net显著减少了每张图像的诊断时间，平均为(13.17 ± 8.40) s，而原始图像则为(19.54 ± 12.40) s。除DR外，大多数病症的诊断时间均有所缩短，具体数据见图5（c）和（d）。这些结果不仅验证了UWF-Net在提高诊断效率方面的优势，还凸显了其在改善特定视网膜疾病临床诊断中的潜力，进一步证明了其在临床应用中的价值。

4 讨论

在中国，眼科医生资源紧缺，在农村及偏远地区尤为突出，致使眼科医疗服务存在较大缺口，进而造成大量本可避免的致盲性眼病未能及时诊治。眼科AI的发展为推动眼科医疗服务的普及、缩小医疗资源分布差距带来了新的契机。尽管许多基于FP技术进行视网膜疾病诊断的AI系统已在准确性和速度方面取得显著成果，但其在临床实际中的应用仍受到诸多限制。其中一个主要障碍在于，AI模型训练所使用的图像质量与真实临床环境中获取的眼底图像存在显著差异。现有AI模型多依赖于经过筛选的、公开获取的图像数据集，而这些数据集难以全面涵盖临床实际中病例的复杂性与多样性。此外，公开数据集往往聚焦于单一疾病，缺乏对临床综合诊疗所需多病种场景的覆盖。更为关键的是，目前多数AI模型依赖传统窄角FP图像，限制了其对视网膜周边病变的识别能力，而此类病变在视网膜裂孔或脱离等眼科急症的诊断中具有重要价值。

本研究致力于构建一套自动化的UWF增强系统，旨在提升UWF图像的成像质量与疾病识别能力，从而使AI技术更契合实际眼科临床诊疗的需求，尤其是在医疗资源匮乏地区的应用场景中展现更大潜力。当前，构建高效UWF图像增强系统所面临的主要挑战之一是缺乏规模化、公开可用的UWF图像数据集。目前，DeepDR是唯一已知的在线UWF数据集，仅包含256张用于DR诊断的图像。相比之下，其他广泛使用的公共数据集，如眼科影像存档与通信系统（EyePACS）、视网膜眼科分割与索引技术评估数据集（MESSIDOR-2）、印度糖尿病视网膜病变图像数据集（IDRiD）、年龄相关性眼病研究（AREDS）以及早产儿视网膜病变（ROP）数据集，均基于传统的窄视角FP图像，且通常聚焦于某一单一疾病（如DR、AMD或ROP），难以满足复杂多样的临床实际应用需求。

有别于既有的数据集，本研究团队构建了一个覆盖广泛病种与多种眼底疾病表现形式的UWF数据集，涵盖了不同图像质量的真实临床图像，旨在更有效应对实际诊疗环境中的复杂性与多样性。所有图像均由资深视网膜专家进行严格分析与标注。最终我们建立了两个大型UWF图像数据集：一个包含11 294张由Optos系统采集的UWF图像；另一个包含由Zeiss系统拍摄的2415张真彩UWF图像。鉴于当前大多数视网膜图像质量评估方法主要针对传统窄视角眼底图像设计，难以适用于UWF图像，我们进一步构建了一个基于Zeiss系统采集的UWF图像质量评估数据集，并将图像划分为“拒绝”“可用”与“良好”三类。在此基础上，开发了一个基于DenseNet-121架构的UWF图像质量评估模型。据我们所知，这是首个公开发布的、具有系统标注的UWF图像大数据集及其配套图像质量评估系统。该成果的发布有望显著推动基于UWF成像的眼科AI系统的研发与临床应用，提升AI技术在眼科领域的实际价值。

依托于构建的UWF图像数据集，我们团队设计并开发了UWF-Net——一个面向UWF眼底图像增强的先进框架。该系统在无需高低质量图像配对的前提下，有效整合了Optos与Zeiss成像系统的优势。从表1所示的FIQA图像质量评分结果来看，UWF-Net在量化评估方面显著优于现有主流增强方法。与此同时，视觉评估结果[图3（b）]亦表明，UWF-Net在提升视网膜图像质量方面具有明显优势，整体效果优于目前广泛使用的技术。现有方法如CLAHE与LIME虽在保留视网膜结构方面表现良好，但常伴随图像色彩失真问题；DCP技术虽能有效调整图像亮度，但对参数设置过于敏感，极易引发过曝现象，且在实际应用中难以实现对每幅图像进行逐一手动调整。此外，诸如EnlightenGAN与StillGAN等方法，常出现图像映射至次优色彩与照明空间的情况。

UWF-Net的一个关键技术创新在于引入了基于预训练分类网络的病理特征一致性损失函数。为评估该机制的实际效能，研究中设计并实施了消融实验。实验结果显示，无论在FIQA图像质量评分、疾病分类准确率（表3），还是在图像视觉质量对比[图3（d）]方面，UWF-Net均展现出显著优势，进一步验证了该方法的有效性。这一进展标志着眼底图像增强技术迈出了关键一步，有望为未来视网膜影像质量标准的建立提供新方向。UWF-Net能保持清晰的细节，并将图像准确地映射到真实生物色彩，同时保持最佳对比度和照明效果，这一能力尤为值得注意。

在疾病分类任务中，我们重点选取了ERM、PDR、PM以及其他黄斑病变作为主要研究对象。这些疾病具有显著的病理特征，且主要累及眼底后极区域，是评估UWF图像诊断价值的重要参考。相比之下，ARN和RP等病变主要发生于视网膜外围，该区域正是Optos UWF成像系统具备优势的部分。为此，我们将研究重点聚焦于Optos在细节分辨力方面存在一定局限的眼底后极区域，从而系统评估UWF-Net在该区域图像增强方面的实际效果。UWF-Net的开发目标即在于提升Optos系统对眼底后极结构的成像质量，力求在视觉细节层面达到Zeiss UWF成像系统的水准。

在分类模型选择方面，我们引入了一系列当前主流的神经网络骨干结构，包括ResNet-101、ViT_base_patch16_224、DenseNet-121，以及基于ViT_large_patch16_224骨干的新型RETFound模型。尽管UWF-Net增强后的图像在多种分类模型中均表现出一定程度的分类性能提升，但从整体结果来看，各方法在性能指标上的差异较小，提升幅度相对有限。表现最优者与次优方法之间仅有微弱差距，相较于基线模型的改进亦较为温和。我们推测，这一现象可能与所使用数据集质量较高、样本标注精确所导致的高基线准确率有关。为了更全面评估UWF-Net在疾病分类任务中的间接效益，未来研究应引入更加多样、真实的临床图像数据集，以涵盖更广泛的病变类型和成像条件。这将有助于进一步验证UWF-Net在提升眼科AI辅助诊断准确性方面的潜在价值，并推动其在临床实际中的广泛应用。

在临床眼科领域，UWF-Net作为图像增强工具的有效性通过双重方法进行了严格评估。一项由23名眼科专家参与的偏好研究一致认为，UWF-Net图像增强方法优于传统方法，验证了其在视觉质量和诊断实用性上的优势。随后，一项涵盖12个眼科中心、182名医生的多中心研究评估了现实使用UWF-Net增强图像的影响。研究结果显示，除DR外，使用UWF-Net增强图像显著缩短了诊断时间，并提高了ARN、BRVO、CSC、ERM和MH等疾病的诊断准确性。这些发现凸显了UWF-Net在显著改善眼科诊断过程方面的潜力，表明其在实际临床环境中对患者护理的重要益处。

本研究代表了眼底成像增强领域的重要进展。然而，我们必须承认某些局限性，这也为未来的研究指明了方向。我们的多中心研究的一个主要局限性是未对增强图像和原始图像数据集进行一对一精确匹配。这种策略旨在避免由于重复接触相同图像而产生的偏差，但可能会对诊断性能比较分析的可靠性产生影响。尽管我们尽量选择病变和病情相似的不同图像，但仍可能影响研究结果。另一个需要考虑的重要方面是数据集主要集中于中国汉族群体，这引发了关于UWF-Net系统在不同种族和民族群体中的普适性问题，凸显出对其进一步研究以提升该系统的全球适用性的必要性。此外，尽管UWF-Net增强图像在改善基于AI的DR诊断方面已展示出良好效果，但其在增强更广泛类型视网膜疾病图像方面的有效性仍需进一步探索。全面评估UWF-Net在各种视网膜疾病中的表现，对于全面了解其在不同病理背景下的应用至关重要。

5 结论

本文提出了UWF-Net技术，这是一种为增强UWF眼底图像而开发的创新型框架。该框架的独特之处在于无需依赖成对图像比较，即可提高各种临床成像设备上的图像质量。其关键特性是引入了由预训练分类网络支持的病理一致性损失，这在保留视网膜重要细节方面发挥了关键作用。此外，我们还推出了FDUWI数据集，这是一个囊括各种UWF眼底图像并带有详细标注的数据集，这在该领域具有重要意义，为今后研究提供了宝贵的资源。研究主要发现，UWF-Net能够有效提升图像质量，从而对基于AI的医疗诊断大有裨益，在临床环境中有望提高诊断的准确性和实用性。通过在12家医院的全面测试与验证，UWF-Net已被证明在实际临床场景中表现优异。该技术在提高诊断精确度和促进临床决策的重要贡献，推动了UWF-Net成为AI应用于眼科中的重要进展。这一方法提供了一种全面解决方案，成功将前沿AI技术与眼科临床实践日益变化的需求相结合。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Lin D, Xiong J, Liu C, Zhao L, Li Z, Yu S, et al. Application of Comprehensive Artificial intelligence Retinal Expert (CARE) system: a national real-world evidence study. Lancet Digit Health 2021;3(8):e486‒95. . 10.1016/s2589-7500(21)00086-8
[2]

Panwar N, Huang P, Lee J, Keane PA, Chuan TS, Richhariya A, et al. Fundus photography in the 21st century: a review of recent technological advances and their implications for worldwide healthcare. Telemed J E Health 2016;22(3):198‒208. . 10.1089/tmj.2015.0068
[3]

Tan CS, Chew MC, van Hemert J, Singer MA, Bell D, Sadda SR. Measuring the precise area of peripheral retinal non-perfusion using ultra-widefield imaging and its correlation with the ischaemic index. Br J Ophthalmol 2016;100(2):235‒9. . 10.1136/bjophthalmol-2015-306652
[4]

Maruyama-Inoue M, Kitajima Y, Mohamed S, Inoue T, Sato S, Ito A, et al. Sensitivity and specificity of high-resolution wide field fundus imaging for detecting neovascular age-related macular degeneration. PLoS One 2020;15(8):e0238072. . 10.1371/journal.pone.0238072
[5]

Demirel H, Anbarjafari G. Image resolution enhancement by using discrete and stationary wavelet decomposition. IEEE Trans Image Process 2011;20(5):1458‒60. . 10.1109/tip.2010.2087767
[6]

Zuiderveld K. Contrast limited adaptive histogram equalization. In: Heckbert PS, editor. Graphics gems IV. Academic Press; 1994. p. 474‒85. . 10.1016/b978-0-12-336156-1.50061-6
[7]

Swaminathan A, Ramapackiam SS, Thiraviam T, Selvaraj J. Contourlet transform-based sharpening enhancement of retinal images and vessel extraction application. Biomed Tech 2013;58(1):87‒96. . 10.1515/bmt-2012-0055
[8]

Lee CC, Shih CY, Lee SK, Hong WT. Enhancement of blood vessels in retinal imaging using the nonsubsampled contourlet transform. Multidimens Syst Signal Process 2012;23(4):423‒36. . 10.1007/s11045-011-0167-y
[9]

Zhu JY, Park T, Isola P, Efros AA. Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE International Conference on Computer Vision; 2017 Oct 22‒29; Venice, Italy. Piscataway: IEEE; 2017. p. 2223‒32. . 10.1109/iccv.2017.244
[10]

Yoo TK, Choi JY, Kim HK. CycleGAN-based deep learning technique for artifact reduction in fundus photography. Graefes Arch Clin Exp Ophthalmol 2020;258 (8):1631‒7. . 10.1007/s00417-020-04709-5
[11]

Wan C, Zhou X, You Q, Sun J, Shen J, Zhu S, et al. Retinal image enhancement using cycle-constraint adversarial network. Fron Med 2022;8:793726. . 10.3389/fmed.2021.793726
[12]

Ma Y, Liu J, Liu Y, Fu H, Hu Y, Cheng J, et al. Structure and illumination constrained GAN for medical image enhancement. IEEE Trans Med Imaging 2021;40(12):3955‒67. . 10.1109/tmi.2021.3101937
[13]

Kumar J, Kohli P, Babu N, Krishnakumar K, Arthur D, Ramasamy K. Comparison of two ultra-widefield imaging systems for detecting peripheral retinal breaks requiring treatment. Graefes Arch Clin Exp Ophthalmol 2021;259(6):1427‒34. . 10.1007/s00417-020-04938-8
[14]

He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2016 Jun 27‒30; VegasLas, NV, USA. Piscataway: IEEE; 2016. p. 770‒8. . 10.1109/cvpr.2016.90
[15]

Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: the missing ingredient for fast stylization. 2016. arXiv:10.1109/cvpr.2017.437
[16]

Isola P, Zhu JY, Zhou T, Efros AA. Image-to-image translation with conditional adversarial networks. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition; 2017 Jul 21‍‒‍26; Honolulu, HI, USA. Piscataway: IEEE; 2017. p. 1125‒34. . 10.1109/cvpr.2017.632
[17]

Woo S, Park J, Lee JY, Kweon I. CBAM: convolutional block attention module. In: Proceedings of the European Conference on Computer Vision (ECCV); 2018 Sep 8‒14; Munich, Germany. 2018. p. 3‒19. . 10.1007/978-3-030-01234-2_1
[18]

Asymmetric loss for multi-label classification. In: Proceedings of the IEEE/CVF International Conference on Computer Vision; 2021 Oct 10‒17; Montreal, QC, Canada. 2021. p. 82‒91. . 10.1109/iccv48922.2021.00015
[19]

Goodfellow I, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative adversarial networks. Commun ACM 2020;63(11):139‒44. . 10.1145/3422622
[20]

Fu H, Wang B, Shen J, Cui S, Xu Y, Liu J, et al. Evaluation of retinal image quality assessment networks in different color-spaces. In: Medical Image Computing and Computer Assisted Intervention—MICCAI 2019: 22nd International Conference; 2019 Oct 13‒17; Shenzhen, China. Berlin: Springer; 2019. p. 48‒56. . 10.1007/978-3-030-32239-7_6
[21]

Köhler T, Budai A, Kraus MF, Odstrčilík J, Michelson G, Hornegger J. Automatic no-reference quality assessment for retinal fundus images using vessel segmentation. In: Proceedings of the 26th IEEE International Symposium on Computer-Based Medical Systems; 2013 Jun 20‒22; Porto, Portugal. Piscataway: IEEE; 2013. p. 95‒100. . 10.1109/cbms.2013.6627771
[22]

Pires R, Jelinek HF, Wainer J, Rocha A. Retinal image quality analysis for automatic diabetic retinopathy detection. In: Proceedings of 2012 25th SIBGRAPI Conference on Graphics, Patterns and Images; 2012 Aug 22‒25; Ouro Preto, Brazil. Piscataway: IEEE; 2012. p. 229‒36. . 10.1109/sibgrapi.2012.39
[23]

He K, Sun J, Tang X. Single image haze removal using dark channel prior. IEEE Trans Pattern Anal Mach Intell 2010;33(12):2341‒53. . 10.1109/tpami.2010.168
[24]

Guo X, Li Y, Ling H. LIME: low-light image enhancement via illumination map estimation. IEEE Trans Image Process 2016;26(2):982‒93. . 10.1109/tip.2016.2639450
[25]

Guo C, Li C, Guo J, Loy CC, Hou J, Kwong S, et al. Zero-reference deep curve estimation for low-light image enhancement. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition; 2020 Jun 13‒19; Seattle, WA, USA. 2020. p. 1780‒9. . 10.1109/cvpr42600.2020.00185
[26]

Jiang Y, Gong X, Liu D, Cheng Y, Fang C, Shen X, et al. EnlightenGAN: deep light enhancement without paired supervision. IEEE Trans Image Process 2021;30:2340‒9. . 10.1109/tip.2021.3051462
[27]

Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition; 2017 Jul 21‍‒‍26; Honolulu, HI, USA. 2017. p. 4700‒8. . 10.1109/cvpr.2017.243
[28]

Dosovitskiy A, Beyer L, Kolesnikov A, Weissenborn D, Zhai X, Unterthiner T, et al. An image is worth 16 × 16 words: transformers for image recognition at scale. 2020. arXiv:
[29]

Zhou Y, Chia MA, Wagner SK, Ayhan MS, Williamson DJ, Struyven RR, et al. A foundation model for generalizable disease detection from retinal images. Nature 2023;622(7981):156‒63.
[30]

Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation. In: Proceedings of Medical Image Computing and Computer-Assisted Intervention—MICCAI 2015: 18th International Conference; 2015 Oct 5‒9; Munich, Germany. Berlin: Springer; 2015. p. 234‒41. . 10.1007/978-3-319-24574-4_28
[31]

Wang Z, Bovik AC, Sheikh HR, Simoncelli EP. Image quality assessment: from error visibility to structural similarity. IEEE Trans Image Process 2004;13(4):600‒12. . 10.1109/tip.2003.819861

基金资助

以下基金资助：国家自然科学基金（82020108006、81730025,赵晨

颜波）、上海市优秀学术带头人项目（18XD1401000,赵晨）和上海市自然科学基金项目（21ZR1406600,谭伟敏

AI Summary AI Mindmap
PDF (7948KB)

8486

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉