《一、 前言》

一、 前言

独立医用软件（SaMD）是独立于医疗设备硬 件而在通用计算机上使用并直接用于一个或多个医 疗目的的一类软件 [1]。随着人工智能技术的快速 发展和领域渗透，基于人工智能技术的独立医用软 件正在快速发展。世界范围内已经涌现的一批人工 智能独立医用软件产品，包括常见的医学影像诊断 软件及一些放射诊断器械、临床化学检测系统、心 血管诊断和监测器械、神经病学诊断器械和眼科 诊断器械等 [2]。人工智能（AI）新技术赋能催生 了监管部门对这类特殊产品的监管需要 [3]，对此 美国食品药品监督管理局（FDA）等世界 AI 发展 领先国家监管部门和国际医疗设备监管机构论坛 （IMDRF）等领域相关国际组织开展了热烈讨论并 开启了针对智能化新兴医疗器械软件的监管变革。 FDA 总结了此次变革归因于 AI 的技术特殊性在传 统监管模式中的不兼容，不同于传统计算机医用软 件程序代码完全固定可完全适应于静态的医疗器械 监管模式，AI 技术以数据、算法和算力为技术特征， 由数据或算法驱动的独立医用软件会随着算法和数 据的变化而动态变化，加剧了产品安全性和有效性 中的不确定性风险，增加了实时软件监管和高频变 更控制需要 [4]。这意味着 AI 独立医用软件在上市 后的监管包括变更控制、质量控制和安全监测将尤 为关键。

当前，大部分国家监管机构面向 AI 独立医用软 件上市的监管制度和政策已逐步建立。2019 年，美 国 FDA 开展了基于人工智能 / 机器学习的医疗器械 软件（AI/ML-based SaMD）的监管框架讨论以应对 AI 医用独立软件监管 [5]。FDA 延用了 IMDRF 对 SaMD 制定的风险分类分级框架 [6]；并依照 AI 算 法特征将相关产品对应于各自适用的 510(k)、上市 前审评（PMA）和 产品重新分类申请（De Novo） 监管审批通道，初步制定了不同严格程度的上市 前 / 后监管程序和必须遵照的监管规则。FDA 从算 法性质出发将人工智能独立医用软件开发算法分为 “锁定”（locked）和“自适应”（adaptive），分类分 级了其中的不确定性风险程度。基于“锁定”算法， 软件算法不随使用改变，相同输入即得相同输出。 而基于“自适应”算法，软件通过既定学习进程可 改变软件的根本性能表现，算法的更新及确认受其本身控制，相同输入在软件迭代更新前后可能会得 到不同输出结果。在 FDA 监管框架下，IDx-DR 成 为 FDA 批准的第一个提供糖尿病视网膜病变诊断 决策的自主 AI 系统 [7]，而另 30 余种 AI 独立医用 软件产品均以“锁定算法”经 FDA 批准上市 [8]。 FDA 目前对于算法自适应的 AI 独立医疗软件如何 监管尚未有万全的应对方案 [9]。中国国家药品监 督管理局（NMPA）对于 AI 独立医用软件监管给出 了不同的理解。NMPA 定义人工智能独立医用软件 为基于医疗器械数据，采用人工智能技术实现其医 疗用途的独立软件 [10]。《深度学习辅助决策医疗 器械软件审批要点》从数据和算法角度入手将人工 智能独立医用软件分为数据驱动和算法驱动，并将 算法成熟度作为风险分类分级的核心考虑因素。《人 工智能医用软件产品分类界定指导原则》指明对于 算法在医疗应用中成熟度低（指未上市或安全有效 性尚未得到充分证实）的人工智能医用软件，若用 于辅助决策，如提供病灶特征识别、病变性质判定、 用药指导、治疗计划制定等临床诊疗建议，按照第 三类医疗器械管理；若用于非辅助决策，如进行数 据处理和测量等提供临床参考信息，按照第二类医 疗器械管理。目前 NMPA 批准的 12 个按照第三类 医疗器械管理的人工智能独立医用软件产品 [11] 依 据审批要点对照 FDA 分类均可归于锁定算法。可 以看出，尽管各国监管部门对于风险的具体评判标 准有所不同，但对于高风险性的 AI 独立医用软件 表示担忧，对于低风险的 AI 独立医用软件监管持 审慎态度呈现一致。

在 AI 独立医用软件发展初期，监管者对于影 响人工智能独立医用软件全生命周期监管的关键要 素仍在积极探索中，其范畴主要围绕：①关键监管 策略，即适应于 AI/ML 透明度、可解释性差、泛 化能力和鲁棒性及算法自适应等特殊技术属性的实 时性强、灵活性高的监管制度或框架；②监管支撑 保障，即与之相适应的质量评价和安全监管标准、 强依赖的标准化数据集储备、测试方案、技术工具 等实现科学监管的支撑体系。相比相对成熟的上 市前准入，本文认为随着申请和上市产品的持续增 加，如何通过监管科学积极发挥对人工智能独立医 用软件市场化发展的引导和监督，防范人工智能独 立医用软件的算法风险，积极应对准入后的 AI 独 立医用软件应用的持续监管问题更不容忽视，因为医用软件一直存在开发人员无法完全了解临床环境 导致错误和风险的问题。2018 年 10 月至 2019 年 5 月，美国、英国、加拿大、澳大利亚、中国等公 开的 136 例国际医疗器械严重不良事件导致的医疗 器械召回中，由于软件缺陷原因引起的比例占到了 16.91% [12]。而这种情况在 AI 独立医用软件不可 解释的黑盒模式下无疑将更甚。

由此，本文重点从 AI/ML 技术特征出发分析 国内外对于 AI 医疗软件监管制度建设及指南、标 准和标准化支撑的建设现状；并以上市后监管的变 更控制、质量控制和安全监测为侧重梳理当前监管 体系下我国 AI 医疗软件在上市后监管上面临的问 题，并提出了相关措施建议，以期为进一步完善我 国 AI 独立医用软件全生命周期管理提供参考。

《二、AI 独立医用软件监管策略现状分析》

二、AI 独立医用软件监管策略现状分析

AI 独立医用软件监管制度是实施监管的根本 依据。美国、欧盟、日本、中国等已初步建立了 AI 独立医用软件监管制度。以 FDA 为代表，监管机 构面向 AI/ML 技术影响下关键的上市后算法变更、 质量控制和安全监测问题提出了概要性的解决策略 或方案。

《（一） 基于算法变更的监管策略》

（一） 基于算法变更的监管策略

对于上市后 AI 医用软件的算法变更问题，美 国 FDA《基于 AI/ML 的医疗器械软件的监管框架 更改协议》（讨论稿）提出了一种将变更控制前置 的方案，以保障上市后 AI 独立医用软件迭代时算 法可控。FDA 通过变更控制计划中的独立医用软件 预先性能说明（SaMD Pre-Specifications）和算法更 改协议（Algorithm Change Protocol）框定软件规格 的潜在变化区域和预期更改描述；并通过新的产品 全生命周期监管方法（TPLC）确保产品能够遵循 算法更改协议按照预先指定的性能目标实施算法更 改 [13]。与之类似，日本 PMDA 于 2019 年 12 月更 新的《药品和医疗器械法》（PMD Act）面向算法的 快速迭代提供了上市后使用 AI 持续改进 SaMD 性 能的审批审核流程 [14]，并规定性能必须是单向改 进，由上市许可持有人（MAH）进行管理。MAH 可开发一种程序以确保“改进过程”并在上市前审 批审核流程中提交。

《（二） 基于质量控制的监管策略》

（二） 基于质量控制的监管策略

对于上市后质量控制监管，各国针对透明性、 可解释性、可信赖性等算法模型的质量评价方案仍 处于探索阶段，质量监管将通过新的质量评价体系 / 系统实现。

2021 年 1 月，FDA 器械和放射健康中心 （CDRH）内设的独立部门数字健康卓越中心发布 了《基于人工智能 / 机器学习的软件医疗设备行动 计划》，提出了 5 项研究要点用以探索保证人工智 能独立医用软件的安全性和有效性监测的实现路径 （见表 1）[15]。欧盟在 2021 年 5 月生效的《2017/745 欧盟医疗器械法规》（下称新法规）中侧重强化了 制造商的上市后义务，要求制造商重新评估当前的 质量管理和文档编制战略，并建立包括质量管理体 系（QMS）和技术文档售后监督程序等在内的全面 流程。我国针对 AI 独立医用软件监管部分延用传 统监管模式，经由质量管理系统、临床表现和评估 等进行质量监管。NMPA 于 2019 年制定并发布了 《医疗器械生产质量管理规范附录独立软件》，从独 立软件、软件组件生产管理、质量控制、不良事件 监测分析等 8 个方面提出要求。此外，2021 年 3 月， 国家药监局正式发布的修订后的《医疗器械监督管 理条例》（以下简称新条例）在较大范围内强化了 医疗器械的上市后监管力度。新条例提出要强化医 疗器械注册人、备案人应当履行的义务：要求建立 与产品相适应的质量管理体系并保持有效运行；制 定上市后研究和风险管控计划并保证有效实施。

《表 1》

表 1 FDA 基于 AI/ML 软件医疗设备行动计划概要

《（三） 基于安全监测的监管策略》

（三） 基于安全监测的监管策略

对于上市后安全监管，基于不良事件报告系统 以及产品召回制度是上市后监管的主流应对机制。 此外，提升产品上市后追溯能力是另一个可帮助及 时获取 AI 独立医用软件产品安全相关信息及解决 AI 引起的不良事件定责问题的可行解决方案。欧盟 实行了统一的身份识别系统（UDI）计划，将优先 支持医疗设备软件（MDSW）的 UDI 获取；针对 新引入 IIa 级别以上产品，要求制造商提供上市后 临床跟踪调研评估报告（PMCF）作为定期安全更 新报告（PSUR）的一部分。FDA 的上市后监管策 略包括基于真实世界数据的追溯和安全监测，该方 案作为试点计划正在探索当中 [14]。我国国家药监 局组织于 2020 年 11 月制定发布的《真实世界数据用于医疗器械临床评价技术指导原则（试行）》同 样提出利用真实世界数据进行上市后临床评价和不 良事件监测。此外，新条例明确了增设产品唯一标 识追溯、延伸检查等监管措施。通过基于唯一标识 符的追溯体系建立和不良事件监测系统实现上市后 的安全监管。

《三、AI 独立医用软件监管支撑体系现状分析》

三、AI 独立医用软件监管支撑体系现状分析

《（一） 指南和标准规范》

（一） 指南和标准规范

AI 独立医用软件相关指南或标准是进行 AI 独 立医用软件科学监管的重要支撑。美国 FDA 与国 际标准化组织（ISO）、国际电工委员会（IEC）、电 气与电子工程师协会（IEEE）等国际标准化组织建 立了广泛合作，正积极参与面向人工智能独立医用 软件的国际标准制订。同时，FDA 还与美国医疗 仪器促进协会（AAMI）、英国标准协会（BSI）等 机构合作开发关于医学人工智能术语和分类的方 案、医学人工智能认证过程的方案。国际电信联盟 （ITU）和世界卫生组织（WHO）于 2018 年 7 月联 合成立健康医疗人工智能焦点组（FG-AI4H）正在 创建健康评估指南，涵盖 AI 独立医用软件健康伦 理、监管法规、需求规范、软件生命周期规范、数 据规范、测试实践规范、评估规范、示范应用、应 用和平台的通用要求和针对各类医学应用的专用要 求 [16]。国际标准化组织 ISO 已发布部分 AI 独立 医用软件适用的可参考标准，如健康信息学—机器 学习技术在成像和其他医疗应用中的应用（ISO/TR 24291: 2021），机器系统的状态监测和诊断—数据处理、通信和展示（ISO 13374-4: 2015），健康软 件和健康 IT 系统安全、有效性和保障—第 1 部分： 原则和概念（ISO 81001-1: 2021）等。另外，安全、 有效和可靠的健康软件和健康 IT 系统—鉴证案例 应用指南 ISO/AWI TS 6337，健康软件—第 2 部 分：健康和保健应用—质量和可靠性（ISO/PRF TS 82304-2）等质量和安全评价相关标准正在开发中。

国内 AI 独立医用软件标准建设正处于初始阶 段。药监局医疗器械技术审评中心（CMDE）为促 进 AI 独立医用软件标准化发展发布了两项指南： 一是《深度学习辅助决策医疗器械软件审批要点》， 从适用范围、审批关注要点、软件更新、相关技术 考量、注册申报资料说明五个部分进一步明确产品 审批细则。二是《肺炎 CT 影像辅助分诊与评估软 件审评要点（试行）》，结合新冠肺炎国情通过绿色 通道和适当的程序宽松进一步推动肺炎相关 SaMD 软件的审评审批。中国检验检疫科学研究院牵头成 立的人工智能医疗器械工作组（AIMDWG）立项 了安全有效性评价术语标准 IEEE P2802、数据集 质控标准 IEEE P2801。另外，人工智能医疗器械 标准化技术归口单位根据《医疗器械标准管理办法》 初步构建了我国人工智能医疗器械标准体系，具体 分为基础标准、管理标准、方法标准和产品标准。 基础标准主要面向行业基础共性问题，对人工智能 医疗器械的术语、分类、编码、数据质量、数据标 注、数据集等进行规范。其中，《人工智能医疗器 械质量要求与评价 第 1 部分：术语》和《人工智 能医疗器械质量要求与评价 第 2 部分：数据集通 用要求》处于起草阶段。面向人工智能生产质量管理面临的特殊问题，包括风险管理、算法开发、基 础设施管理、产品迭代变更管理、人员管理等方面 的管理标准处于申报立项阶段。方法标准主要面向 产品、组件的质量评价需求，包括产品 / 系统性能 评价方法、产品变更评价方法、安全测试方法等方 面，也涉及测试工具评价、标注工具评价等内容。 目前，人工智能医疗器械创新合作平台发布《基于 眼底彩照的糖尿病视网膜病变辅助决策产品性能指 标和测试方法》和《基于胸部 CT 的肺结节影像辅 助决策产品性能指标和测试方法》两项技术文件。 在产品标准方面，根据产品上市数量与监管需求， 目前冠状动脉 CT 血流分析、神经系统影像辅助诊 断等方向已形成草案初稿。

《（二） 信息化监管支撑环境》

（二） 信息化监管支撑环境

为系统提升 AI 独立医用软件产品质量评价能 力，一些国家和地区正在积极推动标准化数据集、 测试用例、测试方法、工具、指标、平台等关键 监管支撑的研究。例如，国际电信联盟 ITU 和世 界卫生组织 WHO 于 2018 年 7 月联合成立健康医 疗人工智能焦点组（FG-AI4H），目标创建在线基 准测试平台和协助注释或数据收集等相关工具的 开源软件包。平台将收集形成可以验证人工智能 模型的未公开的测试数据集，建立人工智能金标 准数据集 [6]。欧盟集合 21 国启动了 AI4EU 项目， 希望实现数据集、算法、技术工具等技术资源的 共享与整合。项目通过网站 www.ai4europe.eu 已 提供临床用例等数据集、支持以增强图像的形式 创建解释的解释器 ABELE 等共享资源 [17]。中国 食品药品检定研究院在 2020 年 7 月启动了《医学 人工智能产品全生命周期检测平台研发与应用示 范》项目，为包括上市前验证确认、上市后监管、 临床在用质控、产品变更评价等监管环节提供技 术服务 [18]。项目在数据接口、软件界面、体系 架构、测试方法等方面已取得初步进展，以医学 数字成像和通信（DICOM）格式的医学影像应用 为切入点，开发和整合数据上传、统计分析、数 据标注、测试集抽取等主要模块，联通数据、算 法和算力。人工智能医疗器械创新合作平台已初 步建立医疗人工智能测评公共服务平台，一期建 立糖尿病视网膜病变常规眼底彩色照相 Al 标准数 据库。

《四、我国 AI 独立医用软件监管问题与挑战》

四、我国 AI 独立医用软件监管问题与挑战

《（一） AI 独立医用软件监管制度存在短板》

（一） AI 独立医用软件监管制度存在短板

AI 独立医用软件在上市后具有算法频繁变更、 算法模型不可解释等固有属性，较传统监管模式实 时性和灵活性要求更高。依据 AI/ML 灵活的算法 变更方式，上市后的监管显然值得引起更大重视。 一方面，对于已准入产品的上市后算法追溯和实时 监测实际仍存在挑战，目前国内还未建立成熟的直 接应对机制。另一方面，基于现阶段 FDA、NMPA 等监管框架仍无法真正应对自适应算法驱动型 AI 独立医用软件的监管，因为人们无法清楚解释黑盒 算法更新前后的机制和原理，这种固有高风险因素 无法被医务人员所接受。尽管当前有一种基于深度 泰勒分解（DTD）的解释方法 Layer-wise Relevance Propagation 可以识别出哪些输入数据（特征）对算 法起决定性作用 [19]，但其仅面向数据驱动的 AI 独立医用软件在可解释性问题上可能有效，且需进 一步考察其在医疗领域内的真实世界表现。面向 AI 独立医用软件算法可解释性问题是国内外监管科学 共同面临的短板。针对 AI 医疗领域的算法模型解 释器的研究与开发难度较大，国内还未见成熟成果。

《（二） AI 独立医用软件监管支撑环境匮乏》

（二） AI 独立医用软件监管支撑环境匮乏

我国大多 AI 独立医用软件标准处于在研阶段， 受标准研制周期和其他不确定性因素干扰影响，标 准缺乏问题严重。我国的 AI 独立医疗设备软件在 监管支撑上仍缺乏明确统一、全面细致的上市后评 估 / 评审标准，评审 / 审批细则的缺乏影响监管工 作的快速、准确落实。当前，我国面向 AI 独立医 用软件产品技术性能、应用效果等的评估体系仍 未建立，仅部分学者在研究层面提出了医疗人工 智能产品应用效果的评估框架 [20]，面向 AI 独立 医用软件的技术安全规范标准和质量评价体系尚 未建立。

在高质量数据层面，上市后的监管缺乏大型数 据集支撑。在面向新出现的 AI 独立医疗设备软件 时无法访问足够的测试数据是预测算法模型性能的 一个主要限制因素。大型的标准数据集、测试集、 验证集对上市后 AI 独立医用软件的迭代和验证至 关重要。但当前 AI 医疗领域的金标准数据集严重 缺乏，无法提供参照。一方面，由于访问健康数据受法律和隐私保护约束较大以及信息化水平和互联 互通影响，当前我国大型标准测试数据集缺乏严重， 造成上市后临床评估困难等监管制约。另一方面， 尽管 AI 独立医用软件在其模型准确性方面多做相 关报道，但在真实临床环境中的应用评价数据目前 仍显匮乏，包括临床有效性、成本效益和安全性评 估方面的数据等。上市后软件的真实世界数据难以 收集和利用，造成软件迭代监管难以真正落地，大 大增加 AI 独立医用软件使用的潜在风险。这对基 于自适应算法的 AI 独立医用软件的发展尤为不利。

《五、 措施建议 》

五、 措施建议

《（一） 系统完善 AI 独立医用软件监管制度》

（一） 系统完善 AI 独立医用软件监管制度

建议面向 AI 独立医用软件全生命周期监管引 入“监管沙盒”机制，系统性完善 AI 独立医用软 件监管体系。加快完善 AI 独立医用软件上市后监 管机制，加强上市后产品预期应用场景规制和应用 效果评估及基于真实世界数据的“不良反应”监测 预警研究，建立面向高风险 AI 独立医用软件的危 险预警机制。基于《深度学习辅助决策医疗器械软 件审批要点》等建立前瞻性的 AI 独立医用软件监 管框架，吸纳 AI 系统技术下可预见的其他技术分 支，在全生命周期监管流程、质量监管体系、临床 评价 / 试验、上市后追溯和再审查机制中建立广泛 适用的安全性和有效性监管机制。

《（二） 深化 AI 独立医用软件监管支撑体系》

（二） 深化 AI 独立医用软件监管支撑体系

建议基于人工智能医疗器械标准体系框架加快 推进 AI 独立医用软件国家标准和行业标准制定， 并适当引入或转化面向 AI 独立医用软件质量、安 全、管理等国际标准。在国际社会建立 AI 独立医 用软件标准体系建设协作机制，开展 AI 独立医用 软件标准在国际国内的协同建设，促进 AI 独立医 用软件在世界范围内的统一建设并制定医疗 AI 全 球标准化监测计划。

在数据支撑上加快推进基于真实世界数据的 AI 独立医用软件研究。面向数据驱动型 AI 独立医 用软件，加快功能化、标准化测试数据集集群建设。 深化基于真实世界数据的 AI 独立医用软件上市后 监测研究，从试验设计、临床表现、工作流程、数 据管理等方面的数据需求出发，加快真实世界数据采集和分析研究工具系统和数据互联互通建设。面 向算法驱动型 AI 独立医用软件，探索开发适应于 基于自适应算法的 AI 独立医用软件的全生命周期 监察评估系统，通过实时监测自适应算法跟踪性能 等建立 AI 独立医用软件上市后的安全可控机制， 利用数字化、可视化手段强化“算法追踪”的可及性。