从信号到知识——基于人工智能的医学影像裸数据诊断价值初探

何秉羲 ,  郭钰 ,  朱永北 ,  佟丽霞 ,  孔博玉 ,  王坤 ,  孙彩霞 ,  李海林 ,  黄峰 ,  武丽伟 ,  王猛 ,  孟繁杨 ,  窦乐 ,  孙凯 ,  童同 ,  刘振宇 ,  魏子麒 ,  牟玮 ,  王硕 ,  唐振超 ,  张帅通 ,  魏靖伟 ,  邵立志 ,  方梦捷 ,  栗军涛 ,  朱守平 ,  周丽丽 ,  王烁 ,  董迪 ,  张惠茅 ,  田捷

工程（英文） ›› 2024, Vol. 34 ›› Issue (3) : 60 -69.

PDF (3861KB)
工程（英文） ›› 2024, Vol. 34 ›› Issue (3) : 60 -69. DOI: 10.1016/j.eng.2023.02.013
研究论文

从信号到知识——基于人工智能的医学影像裸数据诊断价值初探

作者信息 +

From Signal to Knowledge: The Diagnostic Value of Raw Data in the Artificial Intelligence Prediction of Human Data for the First Time

Author information +
文章历史 +
PDF (3953K)

摘要

近年来，基于医学图像的诊断技术取得了飞速发展。现代医学诊疗流程和医学影像技术密不可分。然而，当前“信号-图像-知识”的诊断模式在图像重建过程中（信号‒图像）会不可避免地导致信息丢失。目前，可以从大量数据中挖掘知识的人工智能（AI）技术为变革已有的工作流程提供了机遇。在这项前瞻性研究中，我们首次开发了一种基于AI的“信号‒知识”诊断方案，直接使用计算机断层扫描（CT）的裸数据（信号）进行肺结节分类。结果显示，裸数据几乎可以达到与CT相媲美的性能，这表明可以在不重建图像的情况下诊断疾病。同时，通过三种常见的卷积网络结构将裸数据整合到CT模型中可以大大提高诊断性能（提升范围从0.01到0.12），这表明裸数据可以为CT模型的诊断提供增益信息。本项研究的结果开辟了新的领域，并显示了“信号‒知识”领域分析的潜力。

Abstract

Encouraging and astonishing developments have recently been achieved in image-based diagnostic technology. Modern medical care and imaging technology are becoming increasingly inseparable. However, the current diagnosis pattern of signal to image to knowledge inevitably leads to information distortion and noise introduction in the procedure of image reconstruction (from signal to image). Artificial intelligence (AI) technologies that can mine knowledge from vast amounts of data offer opportunities to disrupt established workflows. In this prospective study, for the first time, we develop an AI-based signal-to-knowledge diagnostic scheme for lung nodule classification directly from the computed tomography (CT) raw data (the signal). We find that the raw data achieves almost comparable performance with CT, indicating that it is possible to diagnose diseases without reconstructing images. Moreover, the incorporation of raw data through three common convolutional network structures greatly improves the performance of the CT models in all cohorts (with a gain ranging from 0.01 to 0.12), demonstrating that raw data contains diagnostic information that CT does not possess. Our results break new ground and demonstrate the potential for direct signal-to-knowledge domain analysis.

关键词

计算机断层扫描 / 诊断 / 深度学习 / 肺癌 / 裸数据

Key words

Computed tomography / Diagnosis / Deep learning / Lung cancer / Raw data

Highlight

・The flow of modern medical services is from signal to image to knowledge

・Information distortion and noise are introduced in the process from signal to image.

・It is the first rawdata experiment using human clinical data for a clinical problem.

・The fusion of CT rawdata can stably improve the diagnostic performance of the model.

引用本文

引用格式 ▾
何秉羲,郭钰,朱永北,佟丽霞,孔博玉,王坤,孙彩霞,李海林,黄峰,武丽伟,王猛,孟繁杨,窦乐,孙凯,童同,刘振宇,魏子麒,牟玮,王硕,唐振超,张帅通,魏靖伟,邵立志,方梦捷,栗军涛,朱守平,周丽丽,王烁,董迪,张惠茅,田捷. 从信号到知识——基于人工智能的医学影像裸数据诊断价值初探[J]. 工程（英文）, 2024, 34(3): 60-69 DOI:10.1016/j.eng.2023.02.013

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

1895年，X射线的发现开启了医学图像诊断应用的新时代。自那时起，非侵入性医学成像技术颠覆了传统接触式的诊疗方案[1]。医学成像技术在过去120年间取得了惊人的技术进步，并与现代医学诊疗日益密不可分。医学成像至关重要，它可以让临床医生从图像中观察并诊断疾病，即“图像‒知识”的过程。然而，人类在图像方面的视觉诊断能力目前已经发展至瓶颈，疾病的诊疗准确度无法进一步提升[2‒3]。

人工智能（AI）技术的出现部分解决了诊断过程中人类能力有限的问题[4‒7]。AI能够自动从图像数据中挖掘与疾病的发生和进展相关的影像学特征，并在许多临床应用中表现出媲美甚至超出人类的能力[8‒12]。AI能够超越人类的根本原因可能是其将图像视为数据而不是视觉图像，并通过自适应的方式提取定量特征进而分析[13‒14]。然而，医学图像是经过压缩或过滤的数据，以满足人类的视觉需求。但对于AI来说，部分诊断信息可能是不完整的。以计算机断层扫描（CT）为例，CT设备首先从患者处收集裸数据（信号），然后通过重建算法将裸数据转换为图像（信号‒图像）[15]。因此，无论是基于AI还是基于人类的诊断，都是“信号‒图像‒知识”的过程。不过，医学图像在采集和重建过程中都会出现信息损失。即使当前的高采样频率已经极大地压缩了采集过程中的运动伪影等因素的影响，但是在重建过程中的插值和次优统计加权等操作仍然会引入部分偏差[16]。同时，未经处理的裸数据大小（2 GB）约为CT图像（180 MB）的10~20倍。总的来说，目前的诊疗范式仍然遵从着“信号‒图像‒知识”的链条（如图1所示）。对于AI来说，信号域的裸数据有着更完整的诊断知识，而且“信号‒图像”的信息损失是难以恢复的。尽管一些基于AI的模型旨在保留更多的信息，但由于求解逆问题本身的性质，损失是不可避免的[17]。因此，当前的“信号‒图像‒诊断”流程中未充分挖掘裸数据中的大量信息，结合AI技术分析裸数据具有很大的科学意义。

跳过图像重建，直接从信号到知识，有望在疾病诊断方面带来新的突破[17]。这个想法可以追溯到2016年，当时Wang等[18]提出“从数据采集直接映射治疗”的思路。受到该想法启发，后续许多研究都讨论了从裸数据分析的潜在价值[19‒23]。De Man等[21]进行了一项在信号域内检测和估计血管中心线的模拟实验。实验取得了出色的结果并论证了裸数据用于临床CT分析任务的可行性。Gao等[23]面向肺结节分类问题，通过CT图像仿真裸数据并进行实验。结果显示，该方法可以有效解决基于图像的诊断中所面临的不同结节大小的问题。Wu等[22]还证明了从信号域构建端到端网络的预测方案，无论是在灵敏度还是准确性上均优于用重建图像开发的检测模型。此外，我们也在美国癌症研究协会（AACR）会议上报告了关于肺癌诊断的模拟实验结果[24]。然而，目前大多数的研究都是基于模拟或仿真进行的实验，至今还没有关于真实临床任务数据中信号到知识分析的研究。

本研究首次利用了真实临床场景采集的裸数据，开发了一种基于AI的CT裸数据肺结节诊断方案（流程图如图1所示）。其中，通过276例患者的数据研究了裸数据单独以及它对CT的增值价值。结果显示，裸数据几乎可以达到与CT相媲美的性能，表明可以在没有重建图像的情况下诊断疾病。与此同时，引入裸数据可以极大地促进CT的性能，表明裸数据包含了一些CT所不具备的诊断信息。这项研究打破了常规的基于图像的诊断循环，可能开辟了一条新的信号到知识的疾病诊断路径。

2 材料和方法

2.1 病例

本研究招募了2019年11月至2021年5月期间在吉林大学第一医院接受胸部CT扫描的626名连续患者。根据以下标准纳入符合条件的患者：①胸部CT扫描显示肺部病灶直径超过2 cm，并进行了增强扫描，②从CT设备获得了成像检查后的裸数据，③与CT扫描相隔两周进行了肺部病灶的病理诊断。同时，根据以下标准排除了一些患者：①先前接受过全身性抗肿瘤治疗，②CT图像质量差或扫描结果不清晰。排除后，共有276名患者被纳入建模实验中。

本研究的方法符合《诊断准确性研究报告标准》（STARD），并获得了吉林大学第一医院伦理委员会的批准（AF-IRB-032-05）。

2.2 CT图像和裸数据的收集

CT图像和裸数据是陆续由吉林大学第一医院使用NeuViz Prime CT系统（东软医疗系统有限公司，中国沈阳）进行的获取和收集。CT扫描仪的系统参数包括源到等中心距离570 mm、源到探测器距离1040 mm、扫描视场为500 mm。成像协议包括具有可变成像参数的胸部增强CT。仪器使用324 mA管电流、100 kVp管电压、0.5 s旋转时间和0.9螺距，在螺旋扫描模式下执行增强CT扫描。CT裸数据使用F20核进行重建，切片厚度为1.0 mm，体素间距范围为0.59~0.98 mm，图像矩阵为512 × 512。此外，每次患者进行扫描时，还获得CT探测器的初始高度和初始视角。最后，来自每台扫描仪的CT图像和裸数据以6∶2∶2的比例随机划分为三个队列：训练队列、验证队列和测试队列。此外，附录A中的表S1描述了CT扫描仪信息、系统参数和成像参数。

2.3 CT图像中的病灶分割

通过ISD（Philips公司的IntelliSpace Discovery）中的标注工具，在轴位视图上手动勾画了主要病灶在所有截面上的分割。感兴趣区域由具有8~25年胸部CT经验的四名影像科医生标注和审查，且所有影像科医生对任何临床或组织病理学信息均不知悉。根据病灶的肺叶，将这些标注标记为五个常见类别。

2.4 典型CT模型的复现

目前有许多关于胸部CT上良恶性肺结节分类的研究。本研究从主要期刊（IEEE Transactions on Medical Imaging、Medical Image Analysis和Nature Medicine）中选取了四篇典型的论文来构建CT模型（CTM），分别采用了多尺度集成方法（CTM 1）[25]、全局和局部信息融合方法（CTM 2）[26]、基于损失函数的方法（CTM 3）[27]和多视角融合（CTM 4）方法[28]。进一步使用上述数据集对这四种典型模型进行了实验，并在附录A中补充了所有实现细节。

2.5 从裸数据中提取病灶区域

在获取了4个CTM后，进行了裸数据的增益实验。实验的第一步是选择包含裸数据中病灶的投影面。CT扫描的裸数据包含三个维度：表示采集顺序的扫描索引维度以及探测器接收X射线衰减的投影面，其中通道和行方向分别定义为x和y。所有裸数据的病灶分割区域都是从CT图像的二值分割中，通过统一坐标系计算得到的。完整的导出可以归结为三个步骤：定位、查询和映射（见附录A中的图S1）。

2.5.1 定位

以CT图像中的分割区域作为研究对象，定位计算主要包括投影面定位和高度定位。对于投影面定位，将CT源和探测器之间的中心点设为坐标原点（即旋转中心），并以包含坐标原点的CT图像横断面作为辅助。之后，运动轨迹可以由扫描索引 t、旋转半径 r和角度 θ来表征。为了获得上述参数，首先读取原点坐标（ x o r i g i n、 y o r i g i n和 z o r i g i n )，并通过体素间距（ x s p a c i n g和 y s p a c i n g )和图像大小（ x s i z e 和 y s i z e )计算出偏移值（ x o f f s e t和 y o f f s e t）。

x o f f s e t = x o r i g i n + x s p a c i n g × 1 2 x s i z e
y o f f s e t = y o r i g i n + y s p a c i n g × 1 2 y s i z e

接下来，根据偏移值以及CT图像中的体素坐标 x C T和 y C T，可以计算出从坐标原点到该坐标的距离（ x l e n g t h和 y l e n g t h）。

x l e n g t h = x s p a c i n g × x C T - 1 2 x s i z e - x o f f s e t
y l e n g t h = y s p a c i n g × y C T - 1 2 y s i z e - y o f f s e t

此外，可以得到半径 r和起始角 θ 0：

r = x l e n g t h 2 + y l e n g t h 2
θ 0 = a r c t a n   y l e n g t h x l e n g t h

同时，引入机器的扫描周期，通过以下关系式可以得到各索引的旋转角度 Δ θ：

y l e n g t h = r × c o s   Δ θ ⋅ t + θ 0
x l e n g t h = r × s i n   Δ θ ⋅ t + θ 0

对于高度定位，通过CT图像中的体素点的坐标 z、层厚以及原点直接获得了体素的初始高度 H s t a r t。

2.5.2 查询

查询步骤的目的是确定肿瘤体素在裸数据中出现的索引维度间隔 t。由于在投影中存在锥形束，首先计算了体素的变化函数 H a r e a。

d = 1 2 l + x l e n g t h

其中， d是体素到源的距离； l是源到探测器的距离。

H a r e a = 1 l 1 2 n y × Δ n y × d

其中，   n y为探测器行数， Δ n为沿y轴的通道间距。

接下来，通过以下不等式确定了体素在裸数据中的索引（ t）范围。

H 0 - Δ H × t ≤ H s t a r t + H a r e a

其中， H 0是探测器开始扫描的初始高度； Δ H是索引间的高度变化。

H 0 - Δ H × t ≥ H s t a r t - H a r e a

为了降低计算复杂度，首先从病灶分割图像中提取出最高和最低的分割体素点，并计算出两个体素的起始和结束索引。然后，初步确定了索引维度的范围。在这个区间内，计算得出了该层内体素的映射结果。

2.5.3 映射

通过上述计算，已经获得了与体素对应的索引间隔，之后通过逐层计算索引范围的投影面数据来获取体素投影的位置。投影面上每个体素的坐标分别定义为 x r a w和 y r a w。 y r a w与投影面上的高度 H t、索引t的高度 H a r e a以及探测器行数 n y相关，因此通过以下公式确定其相对于探测器的高度差，并计算其在投影中的坐标。

y r a w = H a r e a H t × n y - 1 2

由于投影平面的x轴等角采样， x r a w可以通过索引 t的角度 θ t、探测器的视角 θ d以及探测器中的通道数 n x获得。

x r a w = 2 θ t θ d × n x - 1 2

在获取了裸数据中病灶的分割数据后，保存了包含病灶的投影数据，并将其作为本次增益实验的训练数据。需要补充的是，在实际检索裸数据时存在不同的方向（从头到脚或从脚到头）。本研究使用相同的空间关系修改了不同方向的不等式，并定位了病灶。

2.6 基于CT图像的裸数据增益模型的构建

为了探索裸数据是否包含诊断信息，本研究通过裸数据构建了残差融合模型，并将其与CTM的输出进行融合，以确定裸数据是否能够带来增益。首先，使用裸数据构建了三个特征提取网络。基于计算内存需求，本研究对包含病灶的裸数据片段的索引维度进行了八分之一的采样，并基于等间距采样的平均值重新采样到相同的尺寸。对于通道，本研究直接从重建区域的两侧移除数据，并将行维度的大小重新采样为一半。在模型构建方面，没有修改Densenet121（DN）[29]、Resnet18（RE）[30]和Resnext18（RX）[31]在3D方面的架构，目的是尽可能地直接获取裸数据的增益。训练设置和参数详见附录A。

残差融合模型的核心是获取CTM输出的修正，这个想法的来源是在Resnet中提到的学习残差更容易的结论。CTM预测患者为阳性的概率与裸数据模型（RDM）的预测概率进行了融合。将融合模型命名为裸数据增益模型（RGM）。所有模型都有预测良性和恶性的两个输出节点，分别进行计算。具体而言，预测患者为阳性的概率计算如下：

R G M p o s i t i v e = R D M p o s i t i v e + C T M p o s i t i v e

预测患者为阴性的概率计算为：

R G M n e g a t i v e = R D M n e g a t i v e + 1 - C T M p o s i t i v e

在对CTM和RDM进行输出融合后，使用Softmax函数使上述两个输出之和等于1。此外，使用损失函数来计算损失并优化模型。使用裸数据构建的三个特征提取网络与上述四个代表性CTM进行融合，分别得到4个RGM：RGM-DN（RGM-DN 1/2/3/4）、RGM-RE（RGM-RE 1/2/3/4）、RGM-RX（RGM-RX 1/2/3/4）。共计12个RGM。然后，将RGM与CTM进行比较，以评估裸数据的益处。

2.7 平均注意力得分的计算

为了计算每个体素的平均注意力分数，首先使用裸数据中病灶的分割数据通过求反获取非病灶区域。接下来，使用注意力矩阵对病灶和非病灶区域的分割数据进行点乘和求和。最后，通过将两个区域中的总注意力量除以分割区域中的体素数量，分别得到平均注意力分数。值得注意的是，本研究还对每个裸数据中的病灶区域和非病灶区域的平均注意力分数进行了归一化，以获得更直观的比较结果。

3 结果

3.1 临床特征

临床特征的总结见附录A中的表S2。本研究共纳入276名患者，其中训练队列、验证队列和测试队列分别包含166名、55名和55名患者。其中女性患者占50％（n = 138），整个数据集的平均年龄为58.48岁。此外，有21例（8％）小细胞癌、35例（13％）鳞状细胞癌和149例（54％）腺癌。就病灶位置而言，大多数患者被确定为右上叶（n = 89，32％），其次是左下叶（n = 67，24％）和左上叶（n = 64，23％）。就肺癌诊断而言，大多数患者（n = 225，82％）被评估为恶性。

3.2 CT模型和裸数据增益模型的性能

本实验旨在探索基于裸数据和CT图像的残差融合模型对仅基于CT图像的模型所带来的性能改进。为进一步探究该增益的重复性和稳定性，测试了四种不同的CTM（缩写为CTM 1~CTM 4），并采用三种不同的骨干网络架构用于裸数据特征提取，即DN [29]、RE [30]和RX [31]。对于每个CTM，构建了基于不同骨干特征提取网络的三个RGM。将每个RGM的性能与原始CTM进行比较。图2显示了基于四种CTM及其相应的基于不同骨干网络的RGM的接收器工作特性（ROC）曲线及其曲线下面积（AUC）。

对于每个CTM，基于不同骨干网络的残差融合模型在训练、验证和测试队列上都能获得更好的分类性能。对于CTM 1模型，对于训练队列而言，产生最大性能提升的融合模型是RGM-RX 1，其AUC提升可达0.051（从0.757提升至0.808）。对于验证队列而言，产生最大性能提升的融合模型是RGM-RE 1和RGM-RX 1，其AUC改进可达0.033（从0.756提升至0.789）。对于测试队列而言，产生最大性能提升的融合模型是RGM-RE 1，其AUC改进可达0.046（从0.807提升至0.853）。

对于CTM 2模型，在训练队列中产生最大性能提升的融合模型是RGM-RX 2，其AUC改进可达0.109（从0.745提升至0.854）。对于验证队列而言，产生最大性能提升的融合模型是RGM-DN 2，其AUC改进可达0.124（从0.698提升至0.822）。对于测试队列而言，产生最大性能提升的融合模型是RGM-DN 2，其AUC改进可达0.022（从0.760提升至0.782）。

对于CTM 3模型，在训练队列中产生最大性能提升的融合模型是RGM-RX 3，其AUC改进可达0.083（从0.765提升至0.848）。对于验证队列而言，产生最大性能提升的融合模型是RGM-RX 3，其AUC提升可达0.093（从0.760提升至0.853）。对于测试队列而言，产生最大性能提升的融合模型是RGM-RE 3，其AUC改进可达0.027（从0.773提升至0.800）。

对于CTM4模型，在训练队列中产生最大性能提升的融合模型是RGM-RX 4，其AUC提升可达0.035（从0.832提升至0.867）。对于验证队列而言，产生最大性能提升的融合模型是RGM-DN 4，其AUC提升可达0.026（从0.756提升至0.782）。对于测试队列而言，产生最大性能提升的融合模型是RGM-RE 4，其AUC提升可达0.034（从0.833提升至0.867）。总的来说，使用RX作为裸数据特征提取的骨干网络可以在三个队列上获得最大的平均性能提升。

3.3 RGM的图像特征分布及增益稳定性分析

对通过不同特征提取网络获取的所有深度学习特征进行了t分布随机邻域嵌入（t-SNE）降维，并统计了每个患者的真阳性、假阳性、真阴性和假阴性数量（见表1）。此外，为这些指标分配了不同的颜色和标记，以在同一坐标系中进行可视化（见图3）。从图3可以看出，每个CTM内各种RGM的结果相对相似，即使它们使用了不同的特征提取网络。表1也显示了相同的情况。每个CTM内的RGM增益趋势相近，例如，提高恶性或良性检出率。同时，RGM-RE 1、RGM-DN 2、RGM-RE 2、RGM-DN 3、RGM-DN 4、RGM-RE 4和RGM-RX 4可以通过牺牲少量另一类别的可检测率来显著提高某一类别的可检测率。

因此，计算了每个CTM和RGM的优化率和错误率，并计算了至少2个模型优化样本占所有优化样本的比例，这可以反映裸数据增益的稳定性。所有结果都总结在附录A中的表S2中。结果显示，将裸数据纳入分析的方法对CTM 1~CTM 3具有很高的优化率，该结果也反映在AUC的提升上。此外，尽管使用不同的特征提取网络对裸数据进行分析，但每个CTM中至少有2个可以提升的网络占比为80％。最后，本研究发现在4个CTM中有7个样本被误预测。对于这7个样本，裸数据的收益可以纠正6个CTM的预测结果，且纠正的模型存在于每个CTM中。总之，对于CTM而言，裸数据的增益非常稳定。

3.4 RGM可视化的统计与分析

为了更好地解释RGM的预测过程，本研究使用了梯度加权类激活映射（Grad-CAM）来可视化RGM中最感兴趣的区域。RGM的预测结果主要依赖于RGM发现的可疑区域的信息。图4展示了来自裸数据不同视图的病灶分割区域和对应的注意力图。从图4可以看出，尽管输入数据包含一些非病灶区域，但RGM始终能够聚焦于病灶区域进行预测。本研究还计算了裸数据中病灶和非病灶区域每个体素的平均注意力分数，结果显示病灶区域的平均注意力分数是非病灶区域的1~2倍。

3.5 不同恶性亚群的分层分析

年龄、性别和病灶大小的亚组分析结果见表2和附录A中的表S4。

在年龄≤ 60岁的亚组中，RGM-RX 4和CTM 4模型性能最高，其AUC分别为0.837（0.746~0.924）和0.831（0.749~0.904）；在年龄> 60岁的亚组中，RGM-RX 4模型性能最高且AUC为0.845（0.713~0.949），优于最佳的CTM（CTM4，AUC为0.790）。在男性亚组中，CTM 4和RGM-RX 4表现最佳且AUC相近，分别为0.804（0.706~0.882）和0.810（0.707~0.897）；在女性亚组中，RGM-RX 3表现最佳，AUC为0.885（0.818~0.945），并远远超过最佳CTM [CTM4，AUC为0.823（0.720~0.920）]。在病灶大小≤ 23 mm的亚组中，RGM-RX 3模型性能最高，AUC为0.847（0.781~0.916），远超过最佳CTM（CTM4，AUC为0.806）；在病灶大小> 23 mm的亚组中，CTM 4和RGM-RE 4模型性能最高，AUC分别为0.819（0.719~0.906）和0.833（0.703~0.925）。对于病灶位置的亚组，除了在左肺上叶的亚组中CTM 4和RGM-RX 4的性能相近外，在左肺下叶、右肺上叶和右肺下叶的亚组中，RGM表现优于CTM，AUC分别为0.840 vs 0.812、0.849 vs 0.807和0.872 vs 0.843。

4 讨论

本研究首次验证了裸数据在实际临床实践中的潜在价值，即非图像和图像数据的结合将进一步促进疾病诊断的进步。此外，本研究验证了一种在无需图像重建的情况下进行诊断的可行方法，并具有改变现有基于图像的诊断和治疗策略的潜力。

肺部结节的良恶性分类是临床上的重要问题[25,32‒33]。本研究探讨了裸数据分析在分类大于2 cm的不定性肺结节中的可行性。结果表明，仅使用裸数据可以很好地区分恶性结节和良性结节，RDM在训练队列、验证队列和测试队列中的AUC分别为0.768 [95% 置信区间（CI）：0.681~0.851]、0.760（95% CI: 0.558~0.922）和0.782（95% CI：0.592~0.924）（见附录A中的图S2），并且裸数据与CT的性能之间没有统计学差异，这意味着肺结节的分类可能不需要图像重建和临床医师参与。然而，卷积神经网络是否是最适合裸数据分析的方法仍然不确定。裸数据的扫描模式和空间结构决定了应该有一个适合其特性的独特网络结构，这也是我们后续研究的主要目标。总之，未来的RDM可以应用于大多数基层医院，这些医院拥有主流的CT设备与系统，但缺乏技术人员和临床医生。

本研究的结果显示，将裸数据引入CTM在所有队列中均可提升结果，且无论使用何种骨干网络。这表明裸数据具有独特的信息，并且其在重建过程中可能会丢失。同时，该结果与Gao等[23]的研究结果相似，即将裸数据与图像数据融合能够提高性能。与CTM相比，RGM在训练队列、验证队列和测试队列上展现出更稳定的提升作用。换言之，非图像和图像数据的结合可以使模型更加鲁棒。

结果统计显示RX的性能提升高于其他网络，这可能与网络结构和参数数量等因素有关。通过引入组卷积，RX使模型能够学习更多的多重特征表示[31]，这类似于Transformer中的多头注意机制。然而，该网络用于分析裸数据的结构优势需要在更多数据上进行评估。

本研究使用Grad-CAM来可视化模型决策区域，结果显示模型在判断过程中能够自适应地定位到病灶及其周围区域。为了定量化评估该结果，我们计算了平均注意力分数，并发现病灶区域中体素的平均重要性约为非病灶区域的两倍。作为一种基于梯度的可视化方法，Grad-CAM在深度网络可解释领域起着重要作用，但仍存在一些可以优化的缺陷[34‒35]。如何将多个视图的重要性与网络可视化算法相结合，是裸数据研究的一个非常有意义的方向。

本研究还进行了CT内部和CT间的预测结果统计。对于CTM内部而言，融合的裸数据预测具有更高的优化率（结果提升），且表现出类似的增益趋势。此外，大约80%的患者在至少2个特征提取网络中显示出结果提升。在对CTM间的分析中，对于所有CTM都错误预测的患者，其中有85%的患者在每个CTM内都存在可使结果提升的RGM。上述结果证明了裸数据的增益在不同的卷积网络和不同的CTM方法之间是稳定的。因此，未来研究的关键在于如何定量计算和评估重建CT图像分析的缺陷，以开发直接从裸数据进行诊断的模型。本研究的亚组分析结果显示，RGM的表现在大多数亚组中优于CTM，尤其是在年龄较大、女性和病灶较小的亚组中，表明裸数据可能具有更鲁棒的诊断信息，并为CTM带来增益，而这些信息在CT重建过程中可能已经丢失。

本研究存在一些局限性。首先，研究涉及的患者数量较少，阳性和阴性样本比例不平衡。应进一步开展大规模多中心数据集的研究。其次，本研究仅包括单个结节的患者，还需要在多个结节患者中验证本研究方法的有效性。第三，尽管裸数据的性能与CT相当，但仍与最佳CT诊断模型存在一定差距。迫切需要开发专门针对裸数据的新型AI方法。

同时，强大的算力在计算裸数据时是一个不可忽视的问题。直接读取完整的高频扫描数据到计算设备上并不现实。设计适当的预处理算法，并结合裸数据的特征构建深度网络是未来的潜在突破点。最后，CT扫描方案是为图像重建设计的，可能不适用于裸数据分析。因此，应开发新的扫描策略，例如，针对特定诊断目的进行扫描，以最大程度地发挥裸数据的优势。

5 总结

综上，本研究首次验证了裸数据在实际临床实践中的潜在价值。裸数据分析显示出与CT图像相当的性能，这表明利用非图像信息作为图像方法的替代模型输入具有潜在前景。此外，本研究还证实了裸数据对CT图像的附加价值，这意味着非图像和图像的结合将进一步推动疾病诊断的进步。本研究提出并验证了一种新的无需图像重建进行诊断的可行方向，这可能有助于全自动扫描和诊断过程的发展。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

Ciccarelli EC, Jacobs AJ, Berman P. Looking back on the millennium in medicine. N Engl J Med 2000;342:42‒9. . 10.1056/nejm200001063420108
[2]

Lauwerends LJ, van Driel PBAA, Baatenburg de Jong RJ, Hardillo JAU, Koljenovic S, Puppels G, et al. Real-time fluorescence imaging in intraoperative decision making for cancer surgery. Lancet Oncol 2021;22(5):e186‒95. . 10.1016/s1470-2045(20)30600-8
[3]

Lehman CD, Wellman RD, Buist DSM, Kerlikowske K, Tosteson AN, Miglioretti DL; the Breast Cancer Surveillance Consortium. Diagnostic accuracy of digital screening mammography with and without computer-aided detection. JAMA Intern Med 2015;175(11):1828‒37. . 10.1001/jamainternmed.2015.5231
[4]

Bi WL, Hosny A, Schabath MB, Giger ML, Birkbak NJ, Mehrtash A, et al. Artificial intelligence in cancer imaging: clinical challenges and applications. CA Cancer J Clin 2019;69(2):127‒57. . 10.3322/caac.21552
[5]

Hosny A, Parmar C, Quackenbush J, Schwartz LH, Aerts HJWL. Artificial intelligence in radiology. Nat Rev Cancer 2018;18(8):500‒10. . 10.1038/s41568-018-0016-5
[6]

Litjens G, Kooi T, Bejnordi BE, Setio AAA, Ciompi F, Ghafoorian M, et al. A survey on deep learning in medical image analysis. Med Image Anal 2017;42:60‒88. . 10.1016/j.media.2017.07.005
[7]

Lambin P, Leijenaar RTH, Deist TM, Peerlings J, de Jong EEC, van Timmeren J, et al. Radiomics: the bridge between medical imaging and personalized medicine. Nat Rev Clin Oncol 2017;14(12):749‒62. . 10.1038/nrclinonc.2017.141
[8]

Liu X, Faes L, Kale AU, Wagner SK, Fu DJ, Bruynseels A, et al. A comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging: a systematic review and meta-analysis. Lancet Digit Health 2019;1(6):e271‒97. . 10.1016/s2589-7500(19)30123-2
[9]

Killock D. AI outperforms radiologists in mammographic screening. Nat Rev Clin Oncol 2020;17(3):134. . 10.1038/s41571-020-0329-7
[10]

Rivera SC, Liu X, Chan AW, Denniston AK, Calvert MJ, Ashrafian H, et al. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension. Lancet Digit Health 2020;2(10):e549‒60.
[11]

Dong D, Fang MJ, Tang L, Shan XH, Gao JB, Giganti F, et al. Deep learning radiomic nomogram can predict the number of lymph node metastasis in locally advanced gastric cancer: an international multicenter study. Ann Oncol 2020;31(7):912‒20. . 10.1016/j.annonc.2020.04.003
[12]

Huang YQ, Liang CH, He L, Tian J, Liang CS, Chen X, et al. Development and validation of a radiomics nomogram for preoperative prediction of lymph node metastasis in colorectal cancer. J Clin Oncol 2016;34(18):2157‒64. . 10.1200/jco.2015.65.9128
[13]

Mu W, Schabath MB, Gillies RJ. Images are data: challenges and opportunities in the clinical translation of radiomics. Cancer Res 2022;82(11):2066‒8. . 10.1158/0008-5472.can-22-1183
[14]

Gillies RJ, Kinahan PE, Hricak H. Radiomics: images are more than pictures, they are data. Radiology 2016;278(2):563‒77. . 10.1148/radiol.2015151169
[15]

Zhu B, Liu JZ, Cauley SF, Rosen BR, Rosen MS. Image reconstruction by domain-transform manifold learning. Nature 2018;555(7697):487‒92. . 10.1038/nature25988
[16]

Wang G, Ye JC, De Man B. Deep learning for tomographic image reconstruction. Nat Mach Intell 2020;2(12):737‒48. . 10.1038/s42256-020-00273-z
[17]

Chung C, Kalpathy-Cramer J, Knopp MV, Jaffray DA. In the era of deep learning, why reconstruct an image at all? J Am Coll Radiol 2021;18(1):170‒3. . 10.1016/j.jacr.2020.09.050
[18]

Wang G. A perspective on deep imaging. IEEE Access 2016;4:8914‒24. . 10.1109/access.2016.2624938
[19]

Kalra M, Wang G, Orton CG. Radiomics in lung cancer: its time is here. Med Phys 2018;45(3):997‒1000. . 10.1002/mp.12685
[20]

Wang G, Ye JC, Mueller K, Fessler JA. Image reconstruction is a new frontier of machine learning. IEEE Trans Med Imaging 2018;37(6):1289‒96. . 10.1109/tmi.2018.2833635
[21]

De Man Q, Haneda E, Claus B, Fitzgerald P, De Man B, Qian G, et al. A two-dimensional feasibility study of deep learning-based feature detection and characterization directly from CT sinograms. Med Phys 2019;46(12):e790‒800. . 10.1002/mp.13640
[22]

Wu D, Kim K, Dong B, Li Q. End-to-end abnormality detection in medical imaging. In: Proceedings of the 6th International Conference on Learning Representations (ICLR 2018); 2018 Apr 30‒May 3; Vancouve, BC, Canada. San Francisco: OpenReview; 2018. . 10.1007/978-3-030-00919-9_5
[23]

Gao Y, Tan J, Liang Z, Li L, Huo Y. Improved computer-aided detection of pulmonary nodules via deep learning in the sinogram domain. Vis Comput Ind Biomed Art 2019;2(1):15. . 10.1186/s42492-019-0029-2
[24]

Dong D, He B, Kong B, Zhang L, Tong L, Huang F, et al. Abstract CT274: diagnosis based on signal: the first time break the routinely used circle of signal-to-image-to-diagnose. Cancer Res 2020;80(Suppl 16):CT274. . 10.1158/1538-7445.am2020-ct274
[25]

Xu X, Wang C, Guo J, Gan Y, Wang J, Bai H, et al. MSCS-DeepLN: evaluating lung nodule malignancy using multi-scale cost-sensitive neural networks. Med Image Anal 2020;65:101772. . 10.1016/j.media.2020.101772
[26]

Ardila D, Kiraly AP, Bharadwaj S, Choi B, Reicher JJ, Peng L, et al. End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography. Nat Med 2019;25(6):954‒61. . 10.1038/s41591-019-0447-x
[27]

Liu L, Dou Q, Chen H, Qin J, Heng PA. Multi-task deep model with margin ranking loss for lung nodule analysis. IEEE Trans Med Imaging 2020;39(3):718‒28. . 10.1109/tmi.2019.2934577
[28]

Xie Y, Xia Y, Zhang J, Song Y, Feng D, Fulham M, et al. Knowledge-based collaborative deep learning for benign‒malignant lung nodule classification on chest CT. IEEE Trans Med Imaging 2019;38(4):991‒1004. . 10.1109/tmi.2018.2876510
[29]

Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017); 2017 Jul 21‒26; Honolulu, HI, USA. New York City: IEEE; 2017. p. 4700‒8. . 10.1109/cvpr.2017.243
[30]

He K, Zhang X, Ren S, Sun J. Deep residual learning for image recognition. In: Proceedings of the 2016 IEEE Conference on Computer Vision Pattern Recognition; 2016 Jun 26‒Jul 1; Las Vegas, NV, USA. New York City: IEEE; 2016. p. 770‒8. . 10.1109/cvpr.2016.90
[31]

Xie S, Girshick R, Dollár P, Tu Z, He K. Aggregated residual transformations for deep neural networks. In: Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017); 2017 Jul 21‒26; Honolulu, HI, USA. New York City: IEEE; 2017. p. 1492‒500. . 10.1109/cvpr.2017.634
[32]

Shen W, Zhou M, Yang F, Yu D, Dong D, Yang C, et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification. Pattern Recognit 2017;61:663‒73. . 10.1016/j.patcog.2016.05.029
[33]

Mukherjee P, Zhou M, Lee E, Schicht A, Balagurunathan Y, Napel S, et al. A shallow convolutional neural network predicts prognosis of lung cancer patients in multi-institutional computed tomography image datasets. Nat Mach Intell 2020;2(5):274‒82. . 10.1038/s42256-020-0173-6
[34]

Chattopadhay A, Sarkar A, Howlader P, Balasubramanian VN. Grad-CAM++: generalized gradient-based visual explanations for deep convolutional networks. In: Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision (WACV 2018); 2018 Mar 12‒15; Lake Tahoe, NV, USA. New York City: IEEE; 2018. p. 839‒47. . 10.1109/wacv.2018.00097
[35]

Wang H, Wang Z, Du M, Yang F, Zhang Z, Ding S, et al. Score-CAM: score-weighted visual explanations for convolutional neural networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2020); 2020 Jun 14‒19; online. New York City: IEEE; 2020. p. 24‒5. . 10.1109/cvprw50498.2020.00020

AI Summary AI Mindmap
PDF (3861KB)

Supplementary files

Supplementary Material

9535

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉