自动驾驶汽车的新兴安全挑战——预期功能安全

王红 ,  邵文博 ,  孙陈 ,  杨凯 ,  曹东璞 ,  李骏

工程（英文） ›› 2024, Vol. 33 ›› Issue (2) : 20 -40.

PDF (3263KB)
工程（英文） ›› 2024, Vol. 33 ›› Issue (2) : 20 -40. DOI: 10.1016/j.eng.2023.10.011
研究论文

自动驾驶汽车的新兴安全挑战——预期功能安全

作者信息 +

A Survey on an Emerging Safety Challenge for Autonomous Vehicles: Safety of the Intended Functionality

Author information +
文章历史 +
PDF (3341K)

摘要

随着自动驾驶汽车的复杂性不断提升，以及人工智能算法的普遍应用，预期功能安全（safety of the intended functionality, SOTIF）问题已经成为一个备受关注的新兴安全挑战，对自动驾驶汽车的大规模落地提出了重大挑战。预期功能安全关注的是由于预期功能或其实现的功能不足而引发的问题，这些问题超越了传统安全考量的范畴。本研究从系统工程的角度出发，通过全面回顾涵盖开发阶段、验证确认阶段和运行阶段全流程的学术研究、实践活动、挑战与前景，对预期功能安全领域进行了深入探讨。在学术研究方面，本研究包括了系统级预期功能安全研究、算法相关的预期功能安全问题和解决方案。此外，研究还涵盖了来自企业、政府和学术机构的典型预期功能安全实践，特别关注不同阶段的方法论和实践经验。最终，本文提出了在自动驾驶汽车开发、验证确认和运行阶段面临的挑战，以激励各利益相关方共同努力，最终解决SOTIF问题。

Abstract

As the complexity of autonomous vehicles (AVs) continues to increase and artificial intelligence algorithms are becoming increasingly ubiquitous, a novel safety concern known as the safety of the intended functionality (SOTIF) has emerged, presenting significant challenges to the widespread deployment of AVs. SOTIF focuses on issues arising from the functional insufficiencies of the AVs’ intended functionality or its implementation, apart from conventional safety considerations. From the systems engineering standpoint, this study offers a comprehensive exploration of the SOTIF landscape by reviewing academic research, practical activities, challenges, and perspectives across the development, verification, validation, and operation phases. Academic research encompasses system-level SOTIF studies and algorithm-related SOTIF issues and solutions. Moreover, it encapsulates practical SOTIF activities undertaken by corporations, government entities, and academic institutions spanning international and Chinese contexts, focusing on the overarching methodologies and practices in different phases. Finally, the paper presents future challenges and outlook pertaining to the development, verification, validation, and operation phases, motivating stakeholders to address the remaining obstacles and challenges.

关键词

预期功能安全 / 自动驾驶汽车 / 人工智能 / 不确定性 / 验证 / 确认

Key words

Safety of the intended functionality / Autonomous vehicles / Artificial intelligence / Uncertainty / Verification / Validation

Highlight

1.

Novel challenge: Safety of the intended functionality for autonomous vehicles.。

2.

Comprehensive exploration: Covers academic research and practical aspects.

3.

Future focus: Challenges and perspectives.

引用本文

引用格式 ▾
王红,邵文博,孙陈,杨凯,曹东璞,李骏. 自动驾驶汽车的新兴安全挑战——预期功能安全[J]. 工程（英文）, 2024, 33(2): 20-40 DOI:10.1016/j.eng.2023.10.011

登录浏览全文

4963

注册一个新账户 忘记密码

1 引言

1.1 动机

为提高未来交通方式的安全性和效率，人们正在大力开发自动驾驶汽车（autonomous vehicle, AV）。AV很有前景，因为它们能够减少事故及轻松导航。然而，AV带来了一个新的挑战，即预期功能安全（safety of the intended functionality, SOTIF），这是由系统的高度复杂性和多样性、高维动态的交通场景，以及人工智能（artificial intelligence, AI）算法的不确定性和不透明性导致的。根据ISO 21448 [1]中的定义，SOTIF涉及由系统预期功能或其实现的功能不足引起的危害所导致的不合理风险。一个密切相关的研究领域是功能安全（functional safety, FUSA），它源于ISO 26262中定义的硬件故障、软件故障或系统故障[2]。从系统工程的角度来看[3]，FUSA和SOTIF都与系统安全相关（涉及复杂的系统和跨学科研究），因此具有某些共性。然而，与关注故障的FUSA不同，SOTIF强调与系统或其功能模块的限制相关的风险。随着AV自动化水平的提高和部署场景范围的扩大，这一点变得尤为重要。FUSA与SOTIF的关系如图1所示。SOTIF问题取决于两个基本条件：①触发条件和②功能不足。触发条件包括诸如极端天气、道路状况和交通参与者的意外行为等因素[4]。功能不足来自于在感测、感知、决策和执行方面的模型性能局限，以及系统规范的不足。

最近，几例典型SOTIF案例已被报道。2016年5月，一辆配备了智能驾驶系统的车辆在佛罗里达州的一个十字路口与一辆白色卡车发生了一起悲惨事故，一种可能的原因是白色卡车被误识别为了白云。同样，在2020年6月，另一辆配备智能驾驶系统的车辆在高速公路上与一辆翻倒的卡车相撞。2018年，在亚利桑那州坦佩市，一辆自动驾驶车辆撞上了横穿马路的行人，原因是决策算法忽略了行人。这些现实世界的事故表明，虽然AV寻求提高交通安全和效率，但它们也带来了独特的安全挑战。根据加州机动车管理局发布的报告[5]，超过90%的接管案例源于软件SOTIF问题，而只有0.28%归因于硬件FUSA问题。SOTIF问题已经成为AV面临的一个重大挑战。因此，对当前SOTIF相关工作进行系统回顾和分析是指导未来研究的必要条件。

1.2 SOTIF相关标准

ISO 21448作为ISO 26262的补充，专注于解决自动驾驶（autonomous driving, AD），它扩展了基于ISO 26262的系统工程活动，重点关注在预期功能或实现方面的功能不足。它为系统规范、安全分析、功能修改、验证确认（V&V）[6‒7]，以及运行阶段的活动提供了一个标准化的操作程序。AI组件的功能不足加剧了SOTIF问题，因为AI算法的不确定性和不透明性使得难以预测其行为[8]。例如，数据驱动的AI算法被广泛用于处理感知数据（通过相机或激光雷达等获取）。在改善系统性能的同时，这些算法也带来了准确性、可靠性和可解释性方面的新问题。感知功能不足进一步传递到下游的决策和执行模块，导致了系统风险的增加，从而引入了新的SOTIF挑战[10]。

ISO 26262和ISO 21448作为国际标准，概述了“应该做什么”来缓解与AD系统（ADS）相关的潜在风险。相比之下，UL 4600 [11‒12]采用了目标导向策略，重点是“如何”评估全自动驾驶汽车的安全性。作为一个以安全目标为导向的标准，UL 4600使用案例进行安全分析[13]，并考虑了基础设施和生命周期等因素。UL 4600建议在开发工具、车辆生命周期、道路用户研究和运行设计领域（operational design domain, ODD）等各个领域进行独立的安全评估。开发范围包括硬件/软件和机器学习组件的黑/白盒测试。此外，为了量化诸如感知故障等常见的SOTIF问题，UL 4600提出了一种原型安全性能指标（safety performance indicator, SPI），该指标提供了用于安全验证的度量标准，包括交互安全的行为指标。图2显示了ISO 26262、ISO 21448和UL 4600的发展历程。此外，最近围绕SOTIF的特定问题制定了相关标准，增强了其实用性。例如，ISO 34502 [14]，作为基于场景的安全评估标准，在场景生成等领域提供了详细的规范和指导。

尽管上述标准试图解决SOTIF问题，但其是一个复杂的系统安全问题，需要学术界和工业界的共同努力，这对于构建系统和全面的解决方案至关重要。

1.3 贡献

SOTIF是近年来提出的一个概念，本研究的主要目的是充分调研与总结AV SOTIF的相关研究和实践。首先，使用了三个主要数据库调研了截至2023年6月的相关文献：① IEEE Xplore；② ScienceDirect；③ SAE Mobilus。该调研是使用“SOTIF”和“预期功能安全”作为关键词进行的。此外，还利用Google Trends确定了2016年1月至2023年6月期间SOTIF相关术语在谷歌中被查询的频率。结果如图3所示，显示了在过去6年中SOTIF相关出版物数量的显著增加。

然而，目前仍缺乏以SOTIF为主题的全面、系统的综述，这是开展本研究的主要动机。研究试图通过全面回顾和总结SOTIF相关的现有挑战、技术和活动，为该领域研究人员和从业者提供参考。考虑到SOTIF与FUSA的密切关联，可以从FUSA领域借鉴有价值的信息，因此本研究也评估了FUSA相关研究（如典型的安全分析方法），以为SOTIF这个新兴领域提供更全面的综述。此外，虽然人为误用构成是一个重要的触发条件，但对其探索值得单独讨论。本研究主要关注人为误用之外的因素，以在系统和算法层面提供对SOTIF研究的梳理和总结。

从系统安全的角度来看，SOTIF的研究和实践包括三个主要阶段：①开发阶段；②验证确认阶段；③运行阶段。本研究采用此逻辑以整合和组织现有文献，最终建立了图4中的总体框架。

本研究综述了SOTIF相关的学术研究，包括系统和算法级的SOTIF研究。重点关注SOTIF面临的严峻挑战、相关技术和相应的解决方案，并根据开发、验证确认和运行阶段对其进行分别总结。其次，认识到SOTIF与工程实践的紧密联系，本研究系统概述了典型的SOTIF实践。这些活动涵盖了总体方法论实践，以及针对开发、验证确认和运行阶段的具体实践。此外，本文还讨论了最新的中国SOTIF实践。最后，围绕上述三个阶段，对SOTIF面临的未来挑战和前景进行了深入分析。

在第2节中将讨论SOTIF相关的学术研究。第3节将梳理SOTIF典型实践，包括企业、学术机构和政府机构等各种利益相关者开展的活动。最后，第4节将讨论未来挑战并进行展望。

2 学术研究

2.1 系统级SOTIF研究

系统级SOTIF研究对于确保AV的安全性和可靠性至关重要。本节围绕三个关键阶段深入探讨了系统级SOTIF研究：开发、验证确认和运行阶段。每个阶段对于全面解决现有的SOTIF问题及建立用于监控和减轻潜在风险的汽车安全系统都具有重要意义。

2.1.1 开发阶段

开发阶段的系统级SOTIF研究的重点在于风险分析和风险评估（hazard analysis and risk assessment，HARA），这对安全导向的设计具有重要意义[3]。采用合适的安全分析方法对于确保对SOTIF问题分析的全面性和逻辑性至关重要，如故障树分析（fault tree analysis, FTA）、失效模式和影响分析（failure mode and effects analysis, FMEA）、风险和可操作性分析（hazard and operability analysis, HAZOP）以及系统理论流程分析（system-theoretic process analysis, STPA），如表1 [9,15‒31]所示。

FTA是一种自上而下的演绎分析方法，已广泛应用于分析系统可靠性和安全性[15]。Schönemann等[16]提出了一种基于FTA的方法，结合FUSA和SOTIF，推导出自动驾驶系统的功能安全需求。相比之下，FMEA是一种自下而上的归纳方法[9]，用于确定系统、子系统或组件的所有可能的失效模式。在参考文献[17]中，一种基于FMEA的HARA被用来识别可能与SOTIF相关的危险事件。HAZOP是一种基于关键词的头脑风暴方法，用于调查特定行为场景中的显著偏差，从而识别可能的危险[18]。在参考文献[19]中，因自动驾驶汽车在环境感知与理解、行为决策和轨迹规划方面功能不足而导致的危险被与SOTIF视角相结合进行研究。

传统方法依赖于直接的因果链，缺乏统一的危害分析指导[20]。它们通常基于分析者经验分析组件缺陷和故障。然而，对于现代复杂的自动驾驶系统，单独使用这些工具可能不足以解决安全挑战。此外，这些方法大多针对较简单的分层系统或组件，虽然对于较简单的系统有价值，但它们可能不足以应对高度复杂的系统，如用于城市等复杂场景的L5级自动驾驶系统。

为了解决与AD等新技术相关的安全挑战，需要使用有效和系统的安全方法来增强SOTIF分析。系统理论事故模型和过程（system-theoretic accident model and process, STAMP）框架于2000年推出[21]，强调全面的系统分析。STPA是一种源自STAMP的强大分析工具，它使用了自上而下的风险分析方法，包括4个步骤：①分析目标的定义；②控制结构的建模；③不安全行为的识别；以及④损失场景的精确定位。

事实证明，STPA是一个有价值的工具，可用于分析功能不足、人为误用和其他SOTIF相关因素，特别是在涉及组件之间不安全交互的场景中[3]。它在汽车领域的应用包括各种系统的安全分析，如有线驱动换挡系统、电子控制系统和自适应巡航控制（adaptive cruise control, ACC）[22‒25]。此外，STPA已被应用于特定的安全领域，如FUSA、信息安全和SOTIF [26]，并有研究人员将其与驾驶行为安全保证、SOTIF保证和FUSA 的HARA联系起来[27]。STPA虽然有利于SOTIF的研究，但其在AD中的应用存在一定的局限性。研究人员研究了STPA在ADS中的局限性，并引入了有限状态机（finite-state machine, FSM）作为补充，特别是用于分析具有多种自主模式和功能的高级AV [28]。此外，现有研究已经提出了改进的STPA方法，以解决与多智能体环境相关的挑战[29‒30]。

总之，单一分析工具难以满足SOTIF分析的所有需求。结合不同分析工具的优势，可以更有效地确保对AV进行全面和稳健的安全性分析[31]。整合各种方法也将有助于开发更安全、更可靠的ADS，最终促进这种变革性技术的广泛采用和接受。

2.1.2 验证确认阶段

验证确认阶段对于生成证据证明ADS及其组件满足其功能需求以及AV残余风险在可接受范围内至关重要。该阶段旨在评估传感器和感知模型的环境建模能力、决策模型处理已知和未知场景并作出合理决策的能力，以及系统或功能的稳定性。验证确认策略可根据需求、内外部接口、系统架构、触发事件和功能依赖性分析来制定。本节主要介绍系统级的验证确认方法。

有三类方法可以用来评估系统安全性：①验证；②伪证；③测试[32‒33]，如表2 [32‒53]所示。形式验证[34‒35]作为一种值得关注的方法，通过数学模型提供安全证明，并确保AV在ODD中的安全性。它将系统的规范和交通规则转换为机器可读格式，从而确保了AV的安全。定理证明[36]、可达性分析[37]和构造正确性综合[38]是典型的形式验证方法，有助于确保SOTIF。信号时序逻辑（signal temporal logic, SIL）[39]支持形式化技术，如轨迹规划器、控制器及运行时监控器的综合和验证[40]。责任敏感安全（responsibility-sensitive safety, RSS）[41‒42]是另一种验证AV的形式化模型，它使用最坏情况假设和数学归纳法。尽管形式验证有效，但其成本高且在高维开放场景中对复杂、快速迭代系统缺乏可扩展性。研究人员通常会探索证伪和测试方法以进行AV的实际V&V。与AV相关的常见方法包括基于功能的方法、现实世界测试和基于场景的方法。

基于功能的方法涉及根据明确定义的系统功能对AV进行测试，此类方法适用于验证特定的功能，如特定高级驾驶辅助系统（advanced driver assistance systems, ADAS）功能[32‒33]。然而，这种方法在捕捉系统级交互和复杂AV系统中可能出现的紧急行为方面可能有限。因此，这种方法更适合验证特定ADAS功能，而不是高级别自动驾驶。

实地测试有利于在真实环境中验证被测系统安全性，也有助于挖掘未知场景[43]。然而，这种方法也存在一些局限性，例如，此类测试通常耗时耗资，且测试范围有限。具体而言，实地测试需要大量资源和时间，包括人力、设备和场地费用。此外，由于测试环境有限，可能无法覆盖所有可能的驾驶场景和威胁，影响结果的广泛适用性。环境变量和不可控因素也增加了测试的不确定性和复杂性。

基于场景的方法将场景作为评估所分析系统安全性的基础，近年来在学术和工业环境中得到了广泛的研究和实践[44]。一方面，这些方法有效利用不同平台合理分配资源，节约成本，并结合场景覆盖评估、重要性抽样和风险行为识别等技术进一步减少工作量；另一方面，基于场景的方法不仅可以用于验证HARA识别的触发条件对应的场景中的安全性，还可以通过提取与实际交通场景相关的参数分布并进行随机或有针对性的测试。因此，这些方法促进了验证与确认活动之间的过渡和迭代。

早期的研究定义了与场景相关的概念[45]，并构建了支持基于场景的方法实现的通用分层场景模型[46]。该方法包括以下基本步骤：①场景生成/提取；②场景数据库建立；③场景选择；④场景执行。知识驱动的场景生成[47]和数据驱动的场景提取[48]可用于构建SOTIF场景数据库。从数据库中选择特定场景是确定代表性、场景覆盖范围和验证成本的重要一步，其中，测试和证伪可作为场景选择方法的原则。考虑到场景参数的复杂性和连续性，可以利用抽样等方法选择场景，以实现加速测试。根据场景参数的先验信息，抽样可以基于参数的范围[49]或分布[50]进行。在场景执行步骤中，可以根据具体需求选择不同的平台，包括虚拟仿真、硬件在环、车辆在环和物理测试场地。安全关键事件的稀有性是自动驾驶领域进展的主要瓶颈，导致在自然驾驶环境中的验证与确认成本极高。因此，近年来研究重点是构建智能测试环境[51‒52]。借助人工智能驱动的后端代理进行AV的安全验证。总之，需要结合验证、证伪和测试方法的优势，设计综合方法以实现对AV的SOTIF的验证确认。

此外，当前用于评估自动驾驶安全性的指标涵盖了主观/客观、微观/宏观、短期/长期等各个维度。之前的研究已经对AV安全性能测试领域常用的指标进行了全面总结[53]，描述了近端替代指标、驾驶行为和违规行为。然而，现有方法侧重于驾驶安全，并未满足SOTIF验证确认的要求。因此，有必要开发创新方法，建立针对性的评价指标体系。此外，统一的、可度量的和可操作的SOTIF接受准则是亟需的，尽管其建立具有挑战性。

2.1.3 运行阶段

在开发阶段进行的分析、改进和验证确认并不能完全消除残余风险。在运行阶段，ADS可能表现出功能不足。ADS的每个组成部分都有自己的性能限制；此外，人工智能的引入也带来了不确定性。为了应对这些风险，有必要监测和防范由触发条件激发的ADS功能不足而导致的SOTIF相关风险。因此，有必要开发具有自我意识的汽车安全系统。

自我意识的概念，曾在哲学、心理学、逻辑学和计算学中被研究，并已应用于包括机器人和自动驾驶汽车在内的多个领域[54]。在自动驾驶汽车的背景下，自我意识是指系统能够自我审视其内部功能和上下文信息，这对于确保运行阶段的系统级SOTIF具有重要意义。实现系统级自我感知需要，同时考虑外部环境（包括触发条件）和系统的内部状态[55]。当AV在动态环境中运行时，它应该能够自动检测和响应风险场景，尤其是未知不安全场景。具体操作如限制ODD和降低自动化等级。例如，已经提出了受限运行设计域（restriction of the operational design domain, ROD）的概念，它是考虑了对当前系统能力的监控的一个改进的ODD。

“Stadtpilot”是一个典型的寻求系统自我意识的研究项目。该项目在Braunschweig市中心环路上进行了自动驾驶演示，其将安全单元集成到测试车辆的实时引导和控制系统中以优先考虑安全性。2012年提出的纵向控制策略[57]，通过基于传感器的“抓地力值”计算，实现了动态ODD自适应。该架构包括一个嵌入在分层框架中的监视和安全系统，它从传感器和执行器收集数据，以检测系统问题，并采取紧急措施[58]。安全单元根据基于规则的性能标准实施功能降级动作，并考虑位置精度、抓地力值、可视区域、系统运行状态、反应时间等各种因素。随后对汽车功能系统架构的更新引入了自监控系统[59‒60]，该系统提供了关于自车实体和属性的信息，包括错误或健康状态。2020年，自感知、自表示和自我感知的概念[61]被应用于复杂自动驾驶汽车的监控和安全决策，使其能够对性能限制做出适当响应。

尽管ADS研究取得了显著进展，但关于SOTIF的学术研究仍然相对有限，缺乏系统的方法来确保AV的SOTIF。本研究团队[62]提出了一种车载安全防护系统，该系统监控自动驾驶汽车的AI模型、ODD和交通合规性，并进行自适应决策和规划以确保SOTIF，如图5所示。随着自动驾驶技术的进步，探索系统级SOTIF解决方案还有待进一步的研究和发展。

2.2 算法相关的SOTIF研究

算法在自动驾驶汽车的各个功能模块中扮演着至关重要的角色。随着AV技术的不断进步，AI方法的集成已成为一大趋势，显著提升了AV的智能化水平[63]。然而，AI的引入和普遍应用也带来了新的挑战。此外，如大模型等新兴AI技术已经引起了学术界的广泛关注和研究，但其高度复杂性、难解释性以及“幻觉”等问题也导致了对SOTIF研究的迫切需求。因此，本节主要探讨AI模型，特别是基于学习的算法，同时结合传统算法进行补充分析。整体框架如图6所示。

2.2.1 开发阶段

2.2.1.1. 通用开发流程。开发阶段主要包括三个子阶段：①需求分析；②数据获取和处理；③模型设计和训练。每个子阶段都有独特的挑战，可能导致AV性能不理想和SOTIF问题[64]。

（1）需求分析：在实现对特定功能的算法之前，必须明确定义功能的输入、输出、适用范围、需求和技术规范[64‒65]。模糊或错误的需求会严重影响下游子阶段，而不充分的功能定义是导致规范不足的关键因素。目前，对模型开发的需求分析研究有限，将系统工程理论与AI结合是一个重要的研究方向[66]。

（2）数据获取与处理：机器学习依赖于数据。在确定具体需求后，必须收集足够的数据来构建适当的数据集[67]。训练数据的质量直接决定了模型的性能。不足的训练数据会导致训练的机器学习模型鲁棒性差和泛化能力不足。AV场景高度多样化，获取足够相关数据的挑战加剧了数据收集和标注过程中的成本和技术限制；此外，非学习型算法也需要真实数据进行参数校准或验证，而校准和验证结果可能会受到收集数据的片面性和噪声影响[68]。为应对这些与数据相关的挑战，研究人员探索了一些解决方案，如通过使用大规模、低成本的方法来降低数据获取成本，以及使用数据增强、对抗性训练和迁移学习等技术来优化训练流程[69‒71]。

（3）模型设计和训练：模型设计涉及选择适当的算法和建模技术以满足各种功能需求。然而，不同模型有不同的假设，现实环境往往不能完全符合这些假设，从而限制了模型实际性能。解决这些挑战需要探索放宽理论假设的解决方案[72]。此外，在训练过程中不当的奖励或损失函数会损害模型的性能。采用更直接的奖励，避免复杂的主观奖励，并直接从数据中学习奖励函数可以帮助减少主观性[73]。确保收敛性，避免过拟合和欠拟合，并使模型适应现实的操作环境，对于确保模型的安全性和泛化能力至关重要。正则化技术如dropout和批量归一化在解决过拟合方面效果显著。此外，为解决基于模仿学习训练的收敛困难的问题，研究人员提出了一些解决方案，例如，通过多个交互周期逐步将学习者的策略从专家策略转变为学习策略[74]。这些方法缓解了错误积累和遗憾界限等问题。

在基于规则的方法中，前述的数据收集和模型训练过程被专家指导的规则制定所取代。尽管这种方法绕过了由于数据稀缺和训练不足导致的性能限制，但由于专家知识的固有限制，其对自动驾驶中的长尾场景复杂性的适用性十分有限。自动驾驶及其运行场景的复杂性、多样性和动态性使得有效扩展和维护规则库面临重大挑战。因此，这种方法不足以全面和可扩展地实现高级自动驾驶功能，需要与人工智能方法结合以实现最佳性能。

2.2.1.2. AV算法的关键SOTIF挑战：不确定性和难解释性。人工智能的不确定性和难解释性给安全可靠的AV的开发带来了重大挑战[75‒76]。这些挑战直接影响了AV算法的SOTIF，导致若干关键问题。

AI的不确定性，即模型和数据的不确定性，对AV算法的发展构成了关键挑战[77‒79]。模型的不确定性可能源于模型中知识或数据的缺乏，可能由以下因素引起：需求分析不完整、训练数据不足或有偏差、模型设计不当和训练不充分。这种不确定性可能导致模型功能的模糊和定义不明确，使得很难精确定义AV的技术要求和规范。因此，AV开发的后续子阶段，如数据获取与处理以及模型设计与训练，可能由于模型目标和功能不清而导致性能局限和效率低下。此外，模型不确定性可能影响算法处理新颖和不可预见场景的能力，从而增加AV在运行中发生SOTIF相关事件的风险。

数据不确定性也会影响AV算法的性能[78,80]。数据中的错误和干扰，如标签不准确、传感器数据噪声以及交通参与者行为的不确定性，都会导致数据不确定性，进而导致感知和决策的功能不足。这种不确定性在关键驾驶情况下会产生严重后果。因此，减轻数据不确定性对于提高AV算法的鲁棒性和可靠性以及减少SOTIF相关风险至关重要。

难解释性，特别是许多机器学习模型所表现出的黑盒行为，给AV算法的开发带来了额外挑战[81‒83]。深度学习模型，如深度神经网络（deep neural network, DNN）在感知和决策等各种任务中表现出色，但这些模型缺乏可解释性，使得理解其内部工作原理和推理过程变得困难。难解释性可能会阻碍需求分析和模型验证，因为理解决策背后的逻辑和保证AV算法满足关键的安全要求变得具有挑战性。此外，某些机器学习模型的难解释性增加了评估模型的可靠性和安全性的成本和复杂性，进而提高了建立安全保障措施的难度。

为了应对这些挑战，各种研究已被开展，以改进不确定性量化效果和可解释性。如表3 [84‒95]所示，现有的模型不确定性量化方法主要包括基于贝叶斯神经网络（Bayesian neural network, BNN）的方法[84‒87]、基于集成的方法[88‒90]和单次前向传播方法[91‒92]。另一方面，数据不确定性量化方法可以分为判别式方法[80,93]和生成式方法[94‒95]。通过建模和理解不确定性，开发人员可以优化设计过程并减少残余风险，从而提高AV算法在具有挑战性和不确定场景中的性能[91,96‒97]。此外，更好的可解释性方法对于提高AV算法的透明度和可解释性至关重要[98‒99]。原型构建、特征识别和解释模型等技术有助于理解AV模型的输出逻辑，并确保有效地满足技术要求。

总之，AV算法的关键SOTIF挑战在于AI系统固有的不确定性和难解释性。解决这些挑战对于确保AV的安全可靠部署至关重要[75‒76,81]。通过量化和管理不确定性以及改进可解释性，开发人员可以提高AV算法的功能性和安全性，减少SOTIF相关事件的风险，并促进AV技术的广泛应用。

2.2.1.3针对不同功能层的相关研究。除了通用的算法开发流程和挑战外，解决AV中的SOTIF问题还需要详细审视特定功能层的算法相关挑战和解决方案。本节重点讨论AV的感知层和决策层，探讨它们各自的SOTIF问题和缓解策略，如表4 [100‒128]所示。

（1）感知层：感知层是AV的基础，包含目标检测、场景重建、运动估计和目标跟踪等关键任务。大多数最先进的方法依赖于机器学习，特别是深度学习技术。然而，感知功能不足可能导致错误和不稳定的结果，进而干扰决策层的行为选择和运动规划，导致风险增加。

感知功能开发过程中的SOTIF问题来源之一与概念和标签的不确定性有关。需求分析和数据标注中的模糊性和不准确性可能导致性能不佳，影响AV的安全性。为解决这些问题，部分研究已经提出了正式场景表示、统一标注标准和改进的数据系统[100]。此外，一些研究旨在通过改进数据、算法和整体开发流程来提高感知模型的准确性、鲁棒性、泛化性和可解释性[101‒104]。

此外，针对AV感知功能的挑战还包括场景、传感器输入和模型不确定性。这可能导致在不利条件或动态场景下感知效果不佳。因此，有必要提高现有感知模型在复杂交通场景中的准确性、鲁棒性、泛化性和可解释性[105‒106]。

为处理单一感知模块的局限性，可采用传感器融合技术整合多源信息[107]。这种方法提供了冗余性并增强了整体感知的可靠性。传感器融合方法包括数据级、特征级和决策级融合方法，每种方法在特定场景中都有其优势[108‒109]。此外，提出了协同感知技术，结合路侧单元和其他V2X设备的信息，以改善复杂城市交通场景中的感知能力[110‒111]。

（2）决策层：AV决策层面临场景的复杂性、不确定性和多样性等方面的挑战。不准确或不合理的决策直接影响AV在危险场景中的响应能力，导致安全风险。决策方法可分为基于规则的方法和基于学习的方法[112‒114]，以下将分别进行探讨。

基于规则的方法，如有限状态机（finite state machine, FSM）和模型预测控制（model predictive control, MPC），提供了可解释性和透明性，但可能因专家知识的局限性而导致规范不足。现有研究通过优化规则设计规范和改进预测模型逻辑，以改善基于规则的决策[115‒120]。此外，还可以引入基于AI的预测模块，以提高决策模型对场景的认知。

基于学习的方法，如深度强化学习（reinforcement learning, RL）和模仿学习（imitation learning, IL），在处理复杂不确定性场景中的决策方面具有前景。然而，此类的可靠性和泛化能力依赖于充足的数据和准确的建模[112,121]。研究人员已通过逆强化学习（inverse reinforcement learning, IRL）、CQL（conservative Q-improvement reinforcement learning）算法和最大熵RL等方法努力提高AI决策算法的可解释性[122‒124]。然而，可解释性研究仍处于初期阶段[125]。

混合决策结合了基于规则和基于学习的方法，以利用它们的互补优势并提供冗余。这种方法可以避免单一决策模型的局限性[126‒128]。例如，可以使用知识或规则来调整奖励函数、探索过程、输出动作或策略训练迭代，以确保在需要时激活保守和安全的策略。

总之，解决AV算法相关的SOTIF问题需要进行综合考虑和设计，既要处理算法开发的常见挑战，也要满足不同功能模块的特定需求。通过结合通用改进方法和模块特定策略，AV在实际场景中可以实现高安全性和可靠性。

2.2.2 验证确认阶段

验证确认对于确保训练过的AV模型满足安全可靠的运行的要求至关重要[129]。错误或不精确的评估会在运行阶段导致功能不足，从而引发严重的SOTIF问题。为了解决这些挑战，开发了多种模型评估技术，包括形式验证和模型测试。

形式验证是一种通过数学方法来证明模型正确性的严格方法[130]。通过验证分析模型是否满足指定的属性或要求，提供确定性的保证。模型检查、可满足性模理论（satisfiability modular theory, SMT）和混合整数线性规划（mixed-integer linear programming, MILP）是应用于AV算法的形式验证技术示例[131‒132]。模型检查对模型的所有可能状态进行全面检查，以确保没有错误，而SMT和MILP则使用数学逻辑来验证模型属性。尽管这些方法提供了可靠且完整的验证结果，但在复杂模型中进行扩展可能会很困难。单边和收敛保证为特定属性提供足够条件的有界估计，并且在复杂模型中更具可扩展性[133‒134]。另一方面，统计保证量化了某些假设成立的概率，使这些保证对于鲁棒性评估很有用[135]。然而，随着模型复杂性的增加和可解释性的下降，将形式验证技术应用于复杂AV模型变得越来越具有挑战性。

另一种模型评估方法是基于模型测试，包括白盒测试和黑盒测试[136‒137]。白盒测试基于对模型结构的充分理解来验证其内部逻辑。变异测试、蜕变测试和对抗测试等技术已被用于AV算法的白盒测试[138‒140]。尽管白盒测试能够检测分析模型的缺陷，但由于AV模型的复杂性和涉及的大量数据，在大规模应用中可能面临挑战。相比之下，黑盒测试在不详细了解模型内部结构的情况下评估分析模型的正确性[141]。验证人员评估分析模型在给定输入下的输出，并将结果与预期行为进行比较。黑盒测试具有可重用性且更易于应用，但可能无法提供与形式验证或白盒测试相同的严格性，例如，在完备地验证模型正确性和精确定位模型缺陷方面可能存在挑战性。

在评估SOTIF的过程中，传统模型评估指标可能不够充分[142‒143]。诸如精度、召回率、ROC（receiver operating characteristic）和均方根误差（root mean square error, RMSE）等指标常用于模型测试，但它们并未直接关注与SOTIF相关的安全问题。研究人员已开始从安全角度重新定义模型评估标准，以建立SOTIF需求与算法评估之间更直接的联系。

在将模型集成到AV的过程中，当前有一些控制计算和存储成本的技术，包括模型压缩、硬件加速和对DNN的高效处理[144‒145]。然而，明确识别和分析操作采用这些技术可能引起的性能下降，对于确保AV算法的安全性和可靠性至关重要。

总之，对算法验证确认的有效性对于确保AV安全性和可靠性至关重要。形式验证技术提供了严格的数学证明，但在复杂模型中可能面临可扩展性挑战。基于测试的评估方法，包括白盒和黑盒测试，是对模型正确性评估的补充，但可能需要处理与复杂性和完备性相关的问题。从安全角度重新定义模型评估指标对于建立SOTIF要求与算法评估之间的直接联系至关重要。此外，仔细考虑模型集成过程中的技术对模型性能的影响对于保持AV算法的安全性和有效性也是必要的。

2.2.3 运行阶段

在运行阶段，自动驾驶场景表现出开放性、高维性、动态性和复杂性。AV模型必须处理包含静态和动态扭曲以及边缘案例的多种输入，而长尾场景使得在开发过程中完全消除残余风险变得困难[146]。为应对这一问题，有必要在运行阶段监控已开发模型的性能。

运行时监控通常通过识别异常数据和模型状态来检测功能不足。该主题已引起研究人员的广泛关注[147‒150]，监控策略主要分为三类：①输入监控；②内部状态监控；③输出监控。

2.2.3.1. 输入监测。该方法利用原始模型的输入来创建运行时监控器，旨在预测潜在的性能恶化。根据与模型训练域的对齐情况，将输入分为分布内（in-distribution, ID）或分布外（out-of-distribution, OOD）。由于模型设计或训练不当，处理ID数据时可能会出现错误，而OOD数据因分布转变可能显著削弱AI模型的性能，例如，对抗攻击是其中一大威胁[151]。

模型的训练和评估可以指导监控器的创建，以有效检测ID错误。在开发阶段基于主模型历史运行结果及其评价训练辅助安全模型，可以预测主模型的潜在功能不足。例如，基于感知系统生成的输入和相应的转向误差标签训练的学生模型可以预测AV的转向控制错误[152]。通过主模型预测与人类操作之间的差异可以计算错误评分，从而用于对主模型的性能监控[153]。从已有运行场景中汲取经验有助于模型性能在相似场景中的问题预测[154]，例如，可以考虑地理位置和外观方面的输入相似性。

异常检测、OOD检测和离群值检测等技术已被提出并有潜力用于运行时监控。它们假设模型的训练数据遵循某一分布。异常、OOD实例和离群值在假定数据分布中的概率较低或显著偏离已有分布，从而影响模型预测，因此需要对其进行检测。常见方法包括基于聚类、概率、分类、距离和重构的方法[155‒159]。DNN在异常检测中表现出色[160]，能够识别数据中的新模式或未见模式。长短期记忆（long short-term memory, LSTM）网络适用于检测时间序列数据中的异常[161]；自编码器通过编码和解码数据，基于高重构损失捕捉异常实例[162]；此外，变分自编码器（variational autoencoder, VAE）和生成对抗网络（generative adversarial network, GAN）也被用于异常检测[163‒164]。

2.2.3.2. 内部状态监控。该方法侧重于提取模型特征以评估其当前状态。例如，DNN隐藏层中的特征可以作为监控器的输入，同时可以使用异常检测等技术来识别潜在的模型性能异常[165]。主要技术包括监督和无监督方法。

监督方法[166]使用主模型训练过程中的误差等指标作为性能检测器的标签；真实类概率（true class probability, TCP）也可充当网络（如ConfidNet [165]）学习的置信度标签；一些研究采用级联神经网络，通过分析隐藏特征来监控目标检测模型[167]。此外，均值、最大值和统计池化技术已在使用模型内部状态的监控方面表现出一定前景[168]。虽然一般的监督方法在检测ID错误方面表现出色，但缺乏OOD的泛化能力。

无监督方法针对训练集建模原始模型的内部状态，并检测运行阶段输入与训练数据的差异。基于抽象的监控从神经网络特定层中提取值以创建特征，从而实现异常检测[169]。基于距离和密度的方法利用多个隐藏层进行异常检测[170]。例如，马氏距离测量测试样本在特征空间中的密度，使得检测OOD样本和敌对攻击成为可能[171]。此外，梯度空间信息也有前景，例如，GradNorm等方法可用于检测分布转变[172]。然而，无监督方法的输出可能并不足够直观和可解释，需要后处理以得到期望的异常评分。

2.1.2.3. 输出监控。输出监控通过分析输出信息来评估模型性能。具有置信度或性能估计输出的模型允许直接运行时监控。然而，大多数模型缺乏自我性能估计模块或估计精度有限。因此，需要使用特定方法或规则赋予模型内省能力。

在分类任务中，神经网络通常使用softmax函数预测类概率。现有研究提出使用最大softmax概率检测神经网络的误分类和OOD实例，以分析模型的可能错误[173]；此外，一些研究引入温度缩放等技术以更好地区分ID和OOD数据[174]。然而，这些监控器的有效性在很大程度上依赖于训练和验证集的配置，限制了其OOD检测能力。因此，一些研究引入了模型不确定性量化方法[175‒176]，使模型能够理解其所知或未知内容。Kaur等[177]提出了一种面向对象的集成方法，能够检测具有高认知或偶然不确定性的样本，这是被认为有效的OOD检测技术。此外，UNCERTAINTY-WIZARD是一种开源工具，集成了蒙特卡洛dropout和深度集成方法等典型的不确定性估计方法，用于不确定性估计[178]。

此外，多源输出可用于对比以分析特定模型输出中的异常状态。例如，可从三个维度进行一致性分析，从而检测模型错误：①时间一致性分析，分析相同的模型在不同时间的输出结果；②空间一致性分析，分析不同模型在相同时刻的输出，如不同感知模型的目标检测结果对比；③时空一致性分析，结合①和② [179‒180]。此外，形式验证[181]在在线模型状态监控中也很常见，并取得了一些研究进展。

总之，在运行阶段监控模型状态对于减轻AV算法功能不足带来的风险至关重要。各种运行时监控技术，包括模型的输入、内部状态和输出监控，已被用于检测潜在的性能下降和异常数据，对这些监控策略的进一步探索有助于改善AV的安全性和可靠性。

3 SOTIF典型实践

本研究旨在基于当前发布的公开信息，调研并总结原始设备制造商（original equipment manufacturer, OEM）、一级供应商、新兴自动驾驶公司和政府机构在SOTIF相关实践中的最新进展。近年来，包括宝马（BMW）[182]、百度（Baidu）[183]、通用汽车（GM）[184]、福特（Ford）[185]、Nuro [186]、NAVYA [187]和英伟达（NVIDIA）[188]在内的众多自动驾驶行业公司已将SOTIF标准整合到其开发流程中，并在自动驾驶相关安全报告中强调了SOTIF的重要性。SOTIF与FUSA和信息安全标准对确保系统安全及在开发过程中缓解功能不足、故障和网络攻击具有关键作用。例如，宝马将FUSA和SOTIF标准纳入其设计和验证流程，实施了传感器、决策通道和执行器冗余技术以提高安全性。类似地，博世（Bosch）[189]提出了一种改进的V形开发过程，包括功能描述、风险识别、故障分析、功能修改、验证确认和SOTIF发布等流程。此外，包括APTIV在内的11家公司联合发布了一份白皮书[190]，强调了SOTIF、FUSA和信息安全作为自动驾驶可靠性关键领域的重要性：白皮书介绍了12项原则、13项自动驾驶能力和20个实现要素，强调通过设计确保安全，并突出说明了验证策略，进一步地，基于白皮书，发布了针对自动驾驶行业的ISO/TR 4804 [64]技术报告。

后续各小节将分别概述开发、验证确认和运行阶段的相关典型实践。此外，还有一节专门介绍了中国的典型SOTIF实践活动。

3.1 开发阶段

一些公司已扩展其安全分析流程以将SOTIF纳入考虑。例如，大陆集团（Continental AG）[22]采用了一种基于STPA的系统分析方法，用于覆盖FUSA、SOTIF和信息安全的全自动驾驶车辆项目。ANSYS [191]更新了其ANSYS Medini Analyze工具，通过FTA处理FUSA和SOTIF相关风险，同时还探索了STPA用于SOTIF分析的应用。

荷兰应用科学研究组织（Netherlands Organization for Applied Scientific Research, TNO）和美国国家公路交通安全管理局（National Highway Traffic Safety Administration, NHTSA）等机构也进行了诸多SOTIF分析实践。TNO与沃尔沃（Volvo）合作开展了ENSEMBLE项目，在各种场景下分析了多品牌车队，并提出了SOTIF相关风险的应对措施。NHTSA将SOTIF活动整合到其安全分析过程中，以识别危害、触发事件和缓解措施[192]。

许多公司提出了应对SOTIF相关风险的措施。例如，HELLA [193]建议在LIDAR前使用加热元件以减轻寒冷天气的影响，还提出使用AI以改进环境感知。Mobileye [194]专注于风险降低策略，例如，监控恶劣天气并增加算法冗余。

ICADAC项目等研究项目旨在增强在恶劣条件下的基于摄像头的物体检测能力。由梅赛德斯-奔驰领导的欧盟恶劣天气环境感知系统（aDverse wEather eNvironmental Sensing system, DENSE）项目开发了全天候自动驾驶传感器套件，研究了包括参数调优、硬件改进、算法优化和数据融合等在内的相关技术。

3.2 验证确认阶段

最近，考虑SOTIF问题的AV验证确认实践受到了广泛关注。一个典型实践是由联邦经济事务和能源部（BMWi）于2016年发起的PEGASUS联合项目，该项目针对高级自动驾驶功能测试中的关键空白，以高速公路驾驶员为代表性测试对象，制定了一个包含21个步骤的系统性方法，涵盖需求分析、数据处理、数据库创建、安全评估和论证等活动[195‒196]。该项目是结合SOTIF原则的典型场景驱动的验证确认方法。另一个值得注意的项目是ENABLE-S3——由欧盟推动的项目，旨在验证高度自动化、安全和可靠的系统。该项目专注于制定和推广相应的测试框架、技术、平台、环境、标准和生态系统[197‒198]。一些公司致力于推动基于场景的验证确认系统的实施，例如，西门子（SIEMENS）与IVEX的合作在自动驾驶系统的场景测试方面取得了进展[199]：他们引入了一个集成的软件工具链和使用验证确认指标的安全模型，而Simcenter PreScan、Simcenter Amesim和HEED等软件工具在加速自动驾驶系统开发方面则发挥了重要作用。

由日本经济产业省（Ministry of Economy, Trade, and Industry, METI）资助的SAKURA项目致力于开发用于自动驾驶系统安全保障的工程过程和相关技术，如图7所示。该项目根据可预见性和可预防性将场景分为四组，并定义了安全要求，以确保AV在其运行设计域内不引发任何可预见和可预防的交通事故。SAKURA项目提出了基于这些安全要求的SOTIF安全结构，并建立了一个推导测试场景的过程。识别了包括交通、感知和车辆干扰在内的基本功能场景，这些场景涵盖了典型的SOTIF危害触发条件。随后，通过收集和处理现实世界数据以及提取不同场景参数的分布，识别了具有可预见影响的逻辑场景[200‒202]。然后使用参数采样或搜索方法提取特定场景，并通过试验场测试、仿真和道路测试进行评估。

为促进SAKURA项目成果的国际化和标准化，该项目的专家组领导了ISO 34502 [14]的开发，强调了在验证确认活动中考虑SOTIF的重要性。此外，作为世界上第一个L3自动驾驶认证法规，UN R157 [203]制定了自动车道保持系统（Automated Lane Keeping System, ALKS）车辆批准的统一规定。该法规评估了ALKS功能与熟练人类驾驶员保持车道能力的关系，旨在解决与系统安全评估相关的复杂问题。日本汽车制造商协会（Japan Automobile Manufacturers Association, JAMA）制定了自动驾驶安全评估框架[204]，整合了其在安全论证结构、安全评估和安全评估方法方面的实践。该项目与UN R157法规和ISO 3450X系列标准保持一致，为梅赛德斯-奔驰（德国）和本田（日本）等公司的三级自动驾驶认证提供了有力支持，促进了国际法规和标准的发展共识。

3.3 运行阶段

如前所述，有效的实时监控对于SOTIF解决方案至关重要。为应对将深度机器学习（deep machine learning, DML）模型整合到安全关键车辆中的挑战，瑞典研究所（Research Institutes of Sweden, RISE）启动了机器学习安全分析和验证/确认（Safety analysis and verification/validation of MachIne Learning, SMILE）项目，分为三个研究阶段。SMILE I研究了DML系统的验证确认，强调了安全覆盖概念[205‒207]。在此基础上，SMILE II倡导将ISO/PAS 21448作为对ISO 26262:2018标准不足的补充，用于基于机器学习的系统。随后，SMILE III将安全覆盖概念扩展到符合不断发展的SOTIF标准的参考架构和原型。IVEX开发的Safety Co-Pilot [208]是一套嵌入式软件组件，旨在检查和量化与自动驾驶轨迹规划相关的风险。它评估车辆预测和规划与安全政策的一致性。Co-Pilot包括轨迹检查、风险分析、紧急机动轨迹库和决策模块。英国标准协会（British Standards Institution, BSI）在PAS 1880 [209]中引入了自动驾驶车辆监控操作（Automated Vehicle Monitoring Operation, AVMO）概念，促进了对车辆运行状态及其对ODD遵守情况的监控，在必要时进行受控安全干预。

随着大数据和AI技术的进步，许多公司通过在运行阶段的监控和错误检测，实现了功能的数据闭环和迭代更新。特斯拉（Tesla）的闭环数据框架包括模型错误确认、数据标注和清洗、模型训练和重新部署/交付等多个关键部分[210]。类似地，Waymo [211]开发了一个闭环数据平台，具备数据挖掘、主动学习、自动注释、自动模型调试、优化、测试验证、部署和发布等功能。NVIDIA的AV ML平台MAGLEV [212]也基于闭环数据原则实现了模型迭代。此外，Motional [213]通过结合自动注释等技术建立了一个连续学习框架，而Cruise [214]则开发了持续学习机，以解决自动驾驶预测中的长尾问题。这些闭环数据和迭代更新机制在提高安全性和性能的同时，能够实现对SOTIF残余风险的逐步消除。

3.4 中国的实践活动

在中国，为应对SOTIF问题，清华大学联合两家标准机构、9家OEM、9所大学和30家公司发起了SOTIF技术联盟。其主要目标是通过所有成员的合作，推动SOTIF相关理论、技术和标准的研究和落地。2021年，SOTIF技术联盟收集了数千个交通风险事件的数据，并通过无人机录制了超过3000 min的路口视频。这些数据被转换成包含交通参与者位置、速度等特征及交通灯信号和地图信息的数据集。此外，基于对场景、系统以及SOTIF需求的分析，提出了一个7层场景结构，如图8所示。使用所提出的方法和架构，构建了一个包含千余个典型SOTIF场景和300个测试用例的中国特色SOTIF场景库。这是中国首个共享的SOTIF场景库，使所有公司能够训练其模型并评估其性能。基于该库，研究和测试了针对各种自动系统功能的SOTIF问题。此外，还建立了一个基于关键场景的双闭环测试系统。通过闭环验证和动态评估的循环，可以准确评估系统性能，并从理论上量化残余风险。该过程始于定义功能/系统/算法，类似于ISO 21448活动的流程图；此外，基于性能局限和触发条件的分析，可以使用多种方法以生成测试用例；进一步地，基于测试结果可进行性能评估。

4 未来挑战和展望

在上文中详细总结了学术SOTIF研究和实践活动的进展，可以发现目前尚无针对自动驾驶SOTIF挑战的系统性解决方案。本节将讨论未来挑战和展望，以促进AV领域的SOTIF研究。讨论主要集中在三个阶段：①开发阶段；②验证确认阶段；③运行阶段。

4.1 与开发阶段相关的挑战

（1）SOTIF危害分析方面的挑战。在开发阶段初期应系统地识别和分析SOTIF危害。如前所述， STPA在危害分析中显示出了良好的潜力，并在AV SOTIF领域有一些初步应用和实践[215‒216]。然而，STPA在高等自动驾驶安全性分析中的有效性尚待证明。当前研究主要集中在单一系统或单一功能的低级AV上。因此，需要结合不同的分析工具，并开发相应的工具链[19]。

（2）SOTIF风险量化方面的挑战。准确地量化SOTIF风险是另一个关键挑战：FTA、FMEA、HAZOP和STPA方法已广泛用于危害分析。然而，风险量化尚未得到充分研究。根据ISO 26262，风险被定义为发生概率、可控性和潜在严重性的函数。然而，是否可以将此用作SOTIF风险评估的标准仍有争议。此外，AI算法的难解释性和不确定性使得难以可靠地评估功能不足导致的风险。总之，目前尚无通用或有效的方法来量化SOTIF相关风险。

（3）SOTIF功能改进方面的挑战。尽管已有各种用于SOTIF的功能改进方法，但要实现完全可靠的SOTIF保障仍旧任重道远。首先，AI算法的局限性，如其难解释性、泛化性和鲁棒性，限制了AV的可靠性；而如何在系统层面上综合不同组件的功能改进技术仍有待探究；此外，不断更新的算法也在不断带来新的问题，因此有必要确保一个动态的开发流程以持续改进功能。

4.2 与验证确认阶段相关的挑战

（1）开发形式验证技术以提高其在工业应用中的作用。由于严格逻辑的优势，形式验证在AI和AV系统验证背景下受到了关注。然而，随着算法、系统和ODD复杂性的增加，依赖严格数学建模和推导的形式验证变得越来越难以应用。形式验证仍然是一个值得探索的领域，但仍面临多个具体挑战：①处理黑盒模型；②处理不断更新和高度多样化的算法和系统；③降低验证难度和成本；④结合接受准则并建立闭环过程。

（2）开发具有高覆盖率的SOTIF场景构建技术。目前，构建SOTIF场景库是探索不安全场景的有效验证方法。然而，大多数企业专注于数据收集而不重视数据质量。这可能导致场景库中包含大量重复和低质量数据，降低覆盖率和可信度。场景设计的主要标准是多样性、合理性和关键性。具体来说，①多样性要求场景库具有足够丰富的测试场景和用例，以保证对不同风险源的充分考虑和对真实场景的充分覆盖；②合理性要求虚拟场景遵循现实世界的原则；③关键性则要求场景设计者在有限的场景数量中生成或选择更有价值的实例进行评估。

（3）开发高保真度的测试技术。测试工具链通常包括三个组件：传感器、车辆和虚拟世界模型。然而，这些模型的精度并不能完全满足测试要求。特别是传感器模型的精度显著影响测试的可信度，这是一个必须解决的挑战[217‒218]。为促进测试技术的发展，需要解决三个关键问题：①高保真的车环物理建模；②高保真的实地测试；③整车危害事件的准确识别和定量评估。

（4）针对SOTIF的安全认证。AV的安全认证仍然是其商业化的重要前提。目前，只有日本[219]和德国[220‒221]发布了L3自动驾驶产品的安全认证准则，该领域仍面临诸多挑战，如文献[32]所指出的：①确定不可避免的碰撞；②确定责任；③场景覆盖度与认证成本与共同优化；④自动驾驶软件更新的重验证附加成本。需要注意的是，挑战④对于确保安全至关重要，因为AV高度依赖软件，特别是使用AI算法的软件。

（5）量化SOTIF相关风险的接受准则。接受准则用于确定AV是否达到了合理的安全水平[222‒223]。尽管公共道路上的里程累积测试常被讨论，但目前行业缺乏对总里程的统一定义方法。更重要的是，测试道路和场景的选择缺乏理论依据。系统级接受准则如何合理分配到各个组件同样是一个重要的挑战。当前，如下方法可用于定义接受准则：①与现有交通统计数据比较[224]；②与经验丰富且谨慎的人类驾驶员比较；③其他接受准则，如GAMAB原则[225]和ALARP原则[226]。然而，仍有待进一步探究针对自动驾驶系统的量化的、统一的、便于操作与评估的SOTIF接受准则。

4.3 与运行阶段相关的挑战

（1）车载AI算法监控。现有的自动驾驶系统广泛使用AI算法，如前所述，不确定性量化技术常用于监控ADS中AI算法的实时状态[227‒228]。然而，不确定性估计存在不准确等问题，例如，对特定场景的估计结果可能过于自信导致不确定性较小。现有的部分优化方法（如蒙特卡洛dropout）需要对原模型进行修改或多次前向传播，不利于广泛实施[229]。因此，需要更加高效的AI算法监控技术。

（2）ODD。如前所述，ODD内的异常会触发AV的SOTIF问题。目前，天气和道路状况是两个重要的ODD条件。现有监控技术可以发现异常，并通过决策控制模块实现降低风险。然而，它们的主要功能是处理简单的环境要素，难以使用于复杂场景中的多种触发条件。因此，借鉴功能安全中的故障检测和诊断程序，应设计一种更加系统的模块化的统一方法，实现对超出ODD的不同异常的全面监控。

（3）合规性监测。事实证明，遵守交通法规有助于提高AV的安全性[230]。此外，并非所有碰撞都可以避免，在紧急情况下，AV可能被迫做出结合伦理和法律考量的艰难判断[231‒232]。当前研究已将交通法规数字化，以监控或规范AV的驾驶行为。例如，一些方法直接将法规编码到决策系统中，以保证车辆遵守规则[233‒234]。然而，如何在自动驾驶中处理烦琐的、区域性的以及不断更新的交通法规，同时考虑伦理等因素仍是重要的挑战。

5 结论

本研究全面调研并总结了AV背景下的SOTIF研究、实践与挑战。通过深入探究开发、验证确认和运行阶段的学术研究和实际应用，揭示了解决SOTIF问题的重要性与挑战。这些挑战涵盖了危害分析、风险量化、场景构建、形式验证、运行时监控等诸多方面，因此，亟需学术界、工业界以及政府监管机构的协同努力，以推动发展SOTIF的系统解决方案、关键保障技术、健全标准体系和成熟行业实践。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

ISO 21448 : Road vehicles-safety of the intended functionality. International standard. Switzerland: International Organization for Standardization; 2022.
[2]

ISO 26262 : Road vehicles-functional safety. International standard. Switzerland: International Organization for Standardization; 2018.
[3]

Leveson NG. Engineering a safer world: systems thinking applied to safety. Cambridge: The MIT Press; 2012. . 10.7551/mitpress/8179.001.0001
[4]

Koopman P, Fratrik F. How many operational design domains, objects, and events? Safeai@ aaai 2019;4.
[5]

dmv.ca.gov [Internet]. Sacramento: California Department of Motor Vehicles; 2023 [cited 2023 Oct 26]. Available from:

[6]

Seshia SA, Sadigh D, Sastry SS. Toward verified artificial intelligence. Commun ACM 2022;65(7):46‒55. . 10.1145/3503914
[7]

Li J, Shao W, Wang H. Key challenges and Chinese solutions for SOTIF in intelligent connected vehicles. Engineering, in press. . 10.1016/j.eng.2023.09.008
[8]

Burton S, Habli I, Lawton T, McDermid J, Morgan P, Porter Z. Mind the gaps: assuring the safety of autonomous systems from an engineering, ethical, and legal perspective. Artif Intell 2020;279:103201. . 10.1016/j.artint.2019.103201
[9]

Koo J, Kwac J, Ju W, Steinert M, Leifer L, Nass C. Why did my car just do that? Explaining semi-autonomous driving actions to improve driver understanding, trust, and performance. Int J Interact Des Manuf 2015;9(4):269‒75. . 10.1007/s12008-014-0227-2
[10]

Czarnecki K, Salay R. Towards a framework to manage perceptual uncertainty for safe automated driving. In: Gallina B, Skavhaug A, Schoitsch E, Bitsch F, editors. Computer Safety, Reliability, and Security. Berlin: Springer; 2018. p.439‒45. . 10.1007/978-3-319-99229-7_37
[11]

Koopman P, Ferrell U, Fratrik F, Wagner M. A safety standard approach for fully autonomous vehicles. In: Romanovsky A, Troubitsyna E, Gashi I, Schoitsch E, editors. Computer Safety, Reliability, and Security. Berlin: Springer; 2019. p. 326‒32. . 10.1007/978-3-030-26250-1_26
[12]

UL 4600 : Evaluation of autonomous products. UL standard. Underwriters Laboratories; 2020.
[13]

Concas F, Nurminen JK, Mikkonen T, Tarkoma S. Validation frameworks for self-driving vehicles: a survey. In: Khan MA, Algarni F, Quasim MT, editors. Smart Cities: A Data Analytics Perspective. Berlin: Springer; 2021. p.197‒212. . 10.1007/978-3-030-60922-1_10
[14]

ISO 34502 : Road vehicles-Test scenarios for automated driving systems: scenario based safety evaluation framework. International standard. Switzerland: International Organization for Standardization; 2022.
[15]

Vesely WE, Goldberg FF, Roberts NH, Haasl DF. Fault tree handbook, Systems and Reliability Research, Office of Nuclear Regulatory Research, US; 1981.
[16]

Schönemann V, Winner H, Glock T, Sax E, Boeddeker B, vom Dorff S, et al. Fault tree-based derivation of safety requirements for automated driving on the example of cooperative valet parking. In: 26th International Technical Conference on the Enhanced Safety of Vehicles (ESV); 2019 Jun 10‒13; Eindhoven, Netherlands; 2019. . 10.1007/978-3-030-03402-3_5
[17]

Börger A, Hosse R, Von Der Decken S. SOTIF—a new challenge for functional testing. ATZelectronics Worldwide 2020;15(10):56‒60. . 10.1007/s38314-020-0257-4
[18]

Dunjó J, Fthenakis V, Vílchez JA, Arnaldos J. Hazard and operability (HAZOP) analysis. A literature review. J Hazard Mater 2010;173(1‒3):19‒32.
[19]

Kramer B, Neurohr C, Büker M, Fränzle M, Damm W. Identification and quantification of hazardous scenarios for automated driving. In: Model-Based Safety and Assessment: 7th International Symposium; 2020 Sep 14‒16; Lisbon, Portugal. Berlin: Springer; 2020. p. 163‒78. . 10.1007/978-3-030-58920-2_11
[20]

Song Y. Applying system-theoretic accident model and processes (STAMP) to hazard analysis [dissertation]. Hamilton: McMaster University; 2012.
[21]

Leveson N. A new accident model for engineering safer systems. Saf Sci 2004;42(4):237‒70. . 10.1016/s0925-7535(03)00047-x
[22]

Sundaram P, Vernacchia M, Wagner MS, Thomas J, Placke S. Application of STPA to an automotive shift-by-wire system. In: Workshop: Cambridge, MA, USA; 2014.
[23]

Van Eikema Hommes Q. Safety analysis approaches for automotive electronic control systems. In: Society of Automotive Engineers’ Meeting; 2015.
[24]

Van Eikema Hommes Q. Assessment of safety standards for automotive electronic control systems. Report. Washington, DC: National Highway Traffic Safety; 2016 Jun. Report No.: DOT HS 812 285.
[25]

Abdulkhaleq A, Wagner S, Leveson N. A comprehensive safety engineering approach for software-intensive systems based on STPA. Procedia Eng 2015;128:2‒11. . 10.1016/j.proeng.2015.11.498
[26]

Abdulkhaleq A, Lammering D, Wagner S, Röder J, Balbierer N, Ramsauer L, et al. A systematic approach based on STPA for developing a dependable architecture for fully automated driving vehicles. Procedia Eng 2017;179:41‒51. . 10.1016/j.proeng.2017.03.094
[27]

Czarnecki K. On-road safety of automated driving system (ADS)-taxonomy and safety analysis methods. Waterloo: University of Waterloo; 2018.
[28]

Xing X, Zhou T, Chen J, Xiong L, Yu Z. A hazard analysis approach based on STPA and finite state machine for autonomous vehicles. In: 2021 IEEEIntelligent Vehicles Symposium IV); 2021 Jul 11‒17; Nagoya, Japan. Piscataway: IEEE; 2006. p. 150‒6. . 10.1109/iv48863.2021.9575425
[29]

Bensaci C, Zennir Y, Pomorski D, Innal F, Liu Y, Tolba C. STPA and Bowtie risk analysis study for centralized and hierarchical control architectures comparison. Alex Eng J 2020;59(5):3799‒816. . 10.1016/j.aej.2020.06.036
[30]

Bensaci C, Zennir Y, Pomorski D, Innal F, Liu Y. Distributed vs. hybrid control architecture using STPA and AHP-application to an autonomous mobile multi-robot system. International Journal of Safety and Security. Engineering 2021;11(1):1‒12. . 10.18280/ijsse.110101
[31]

Capito L, Redmill KA. Methodology for hazard identification and mitigation strategies applied to an overtaking assistant ADAS. In: 2021 IEEE International Intelligent Transportation Systems Conference (ITSC); 2021 Sep 19‒22; Indianapolis, IN, USA. Piscataway: IEEE; 2021. p. 3972‒7. . 10.1109/itsc48978.2021.9564820
[32]

Zhao T., Yurtsever E., Paulson J.A., Rizzoni G., Automated vehicle safety guarantee, verification and certification: surveya. 2022. arXiv:10.1109/tiv.2022.3170517
[33]

Kapinski J, Deshmukh JV, Jin X, Ito H, Butts K. Simulation-based approaches for verification of embedded control systems: an overview of traditional and advanced modeling, testing, and verification techniques. IEEE Contr Syst Mag 2016;36(6):45‒64. . 10.1109/mcs.2016.2602089
[34]

Krook J, Svensson L, Li Y, Feng L, Fabian, M. Design and formal verification of a safe stop supervisor for an automated vehicle. In: 2019 International Conference on Robotics and Automation (ICRA); 2019 May 20‒24; Montreal, QC, Canada. Piscataway: IEEE; 2019. p. 5607‒13. . 10.1109/icra.2019.8793636
[35]

Radojicic C, Grimm C, Jantsch A, Rathmair M. Towards verification of uncertain cyber-physical systems. Electron Proc Theor Comput Sci 2017;247:1‒17. . 10.4204/eptcs.247.1
[36]

Arechiga N, Loos SM, Platzer A, Krogh BH. Using theorem provers to guarantee closed-loop system properties. In: 2012 American Control Conference (ACC); 2012 Jun 27‒29; Montreal, QC, Canada. Piscataway: IEEE; 2012. p. 3573‒80. . 10.1109/acc.2012.6315388
[37]

Gruber F, Althoff M. Anytime safety verification of autonomous vehicles. In: 2018 21st International Conference on Intelligent Transportation Systems (ITSC); 2018 Nov 4‒7; Maui, HI, USA. Piscataway: IEEE; 2018. p. 1708‒14. . 10.1109/itsc.2018.8569950
[38]

Johnson B, Havlak F, Kress-Gazit H, Campbell M. Experimental evaluation and formal analysis of high-level tasks with dynamic obstacle anticipation on a full-sized autonomous vehicle. J Field Robot 2017;34(5):897‒911. . 10.1002/rob.21695
[39]

Arechiga N. Specifying Safety of Autonomous vehicles in signal temporal logic. In: 2019 IEEEIntelligent Vehicles Symposium IV); 2019 Jun 9‒12; Paris. Piscataway: IEEE; 2018. p. 58‒63. . 10.1109/ivs.2019.8813875
[40]

Zapridou E, Bartocci E, Katsaros P. Runtime verification of autonomous driving systems in CARLA. In: Deshmukh J, Nicˇkovic´ D, editors. Runtime Verification. Berlin: Springer; 2020. p. 172‒83. . 10.1007/978-3-030-60508-7_9
[41]

Shalev-Shwartz S, Shammah S, Shashua A. On a formal model of safe and scalable self-driving cars. 2017. arXiv:
[42]

Nilsson P, Hussien O, Balkan A, Chen Y, Ames AD, Grizzle JW, et al. Correct-byconstruction adaptive cruise control: two approaches. IEEE Trans Control Syst Technol 2016;24(4):1294‒307. . 10.1109/tcst.2015.2501351
[43]

Kalra N, Paddock SM. Driving to safety: how many miles of driving would it take to demonstrate autonomous vehicle reliability? Transp Res Part A Policy Pract 2016;94:182‒93. . 10.7249/rr1478
[44]

Riedmaier S, Ponn T, Ludwig D, Schick B, Diermeyer F. Survey on scenariobased safety assessment of automated vehicles. IEEE Access 2020;8:87456‒77. . 10.1109/access.2020.2993730
[45]

Ulbrich S, Menzel T, Reschka A, Schuldt F, Maurer M. Defining and substantiating the terms scene, situation, and scenario for automated driving. In: 2015 IEEE 18th International Conference on Intelligent Transportation Systems; 2015 Sep 15‒18; Gran Canaria. Piscataway: IEEE; 2015. p. 982‒8. . 10.1109/itsc.2015.164
[46]

Bagschik G, Menzel T, Maurer M. Ontology based scene creation for the development of automated vehicles. In: 2018 IEEE Intelligent Vehicles Symposium (IV); 2018 Oct 21; Changshu, China. Piscataway: IEEE; 2018. p. 1813‒20. . 10.1109/ivs.2018.8500632
[47]

Khatun M, Glaß M, Jung R. A systematic approach of reduced scenario-based safety analysis for highly automated driving function. In: Proceedings of the 7th International Conference on Vehicle Technology and Intelligent Transport Systems; 2021 Apr 28; New York: proceedings; 2021. p. 301‒8. . 10.5220/0010397403010308
[48]

Wang W, Zhao D. Extracting traffic primitives directly from naturalistically logged data for self-driving applications. IEEE Robot Autom Lett 2018;3(2):1223‒2129. . 10.1109/lra.2018.2794604
[49]

Gladisch C, Heinzemann C, Herrmann M, Woehrle M. Leveraging combinatorial testing for safety-critical computer vision datasets. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW); 2020 Jun 14‒19; Seattle, WA, USA; Piscataway. IEEE; 2018. p. 1314‒21. . 10.1109/cvprw50498.2020.00170
[50]

Zhao D, Huang X, Peng H, Lam H, LeBlanc DJ. Accelerated evaluation of automated vehicles in car-following maneuvers. IEEE Trans Intell Transp Syst 2018;19(3):733‒44. . 10.1109/tits.2017.2701846
[51]

Feng S, Yan X, Sun H, Feng Y, Liu HX. Intelligent driving intelligence test for autonomous vehicles with naturalistic and adversarial environment. Nat Commun 2021;12(1):748. . 10.1038/s41467-021-21007-8
[52]

Feng S, Sun H, Yan X, Zhu H, Zou Z, Shen S, et al. Dense reinforcement learning for safety validation of autonomous vehicles. Nature 2023;615(7953):620‒7. . 10.1038/s41586-023-05732-2
[53]

Wishart J, Como S, Elli M, Russo B, Weast J, Altekar N, et al. Driving safety performance assessment metrics for ads-equipped vehicles. SAE Int J Adv Curr Prac Mobility 2020;2(5):2881‒99. . 10.4271/2020-01-1206
[54]

Dennis LA, Fisher M. Verifiable self-aware agent-based autonomous systems. Proc IEEE 2020;108(7):1011‒26. . 10.1109/jproc.2020.2991262
[55]

Gyllenhammar M, Johansson R, Warg F, Chen D, Heyn H M, Sanfridson M, et al. Towards an operational design domain that supports the safety argumentation of an automated driving system. In: 10th European Congress on Embedded Real Time Systems (ERTS 2020); 2020 Jan 29‒31; Toulouse, France. 2020.
[56]

Colwell I, Phan B, Saleem S, Salay R, Czarnecki K. An automated vehicle safety concept based on runtime restriction of the operational design domain. In: 2018 IEEEIntelligent Vehicles Symposium IV); 2018 Jun 26‒30; Changshu, China; Piscataway. IEEE; 2018. p. 1910‒7. . 10.1109/ivs.2018.8500530
[57]

Reschka A, Bohmer JR, Saust F, Lichte B, SafeMaurer M., dynamic and comfortable longitudinal control for an autonomous vehicle. In: 2012 IEEEIntelligent Vehicles Symposium; 2012 Jun 3‒7; Madrid, Spain; Piscataway. IEEE; 2012. p. 346‒51. . 10.1109/ivs.2012.6232159
[58]

Reschka A, Böhmer JR, Nothdurft T, Hecker P, Lichte B, Maurer M. A surveillance and safety system based on performance criteria and functional degradation for an autonomous vehicle. In: 2012 15th International IEEE Conference on Intelligent Transportation Systems; 2012 Sep 16‒19; Anchorage, AK, USA; Piscataway. IEEE; 2012. p. 237‒42. . 10.1109/itsc.2012.6338682
[59]

Schlatow J, Moostl M, Ernst R, Nolte M, Jatzkowski I, Maurer M, et al. Selfawareness in autonomous automotive systems. In: Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017; 2017 Mar 27‒31; Lausanne, Switzerland; Piscataway. IEEE; 2017. p. 1050‒5. . 10.23919/date.2017.7927145
[60]

Ulbrich S, Reschka A, Rieken J, Ernst S, Bagschik G, Dierkes F, et al. Towards a functional system architecture for automated vehicles. 2017. arXiv:
[61]

Nolte M., Jatzkowski I., Ernst S, Maurer M. Supporting safe decision making through holistic system-level representations & monitoring-a summary and taxonomy of self-representation concepts for automated vehicles. 2020. arXiv:
[62]

Shao W, Li J, Zhang Y, Wang H. Key technologies to ensure the safety of the intended functionality for intelligent vehicles. Automot Eng 2022;44:1289‒304. Chinese.
[63]

Jain A, Del Pero L, Grimmett H., Ondruska P. Autonomy 2.0: why is self-driving always 5 years away? 2021. arXiv:
[64]

ISO/TR 4804 : Road vehicles—safety and cybersecurity for automated driving systems: design, verification and validation. International standard. Switzerland: International Organization for Standardization, 2020.
[65]

Kuang X, Zhang Y, Li H. SOTIF requirement analysis based on STPA. In: Proceedings of the 2021 4th International Conference on Algorithms, Computing and Artificial Intelligence; 2021 Dec 22‒24; Sanya, China; New York: ACM Digital Library. 2021. p.1‒5. . 10.1145/3508546.3508590
[66]

Goode HH, Machol RE, Teichmann T. System engineering. Phys Today 1957;10(9):34‒6. . 10.1063/1.3060491
[67]

Xu Y, Shao W, Li J, Yang K, Wang W, Huang H, et al. SIND: A drone dataset at signalized intersection in China. In: 2022 IEEE 25th International Conference on Intelligent Transportation Systems (ITSC); 2022 Oct 8‒12; Macau, China; Piscataway. IEEE; 2022. p. 2471‒2478. . 10.1109/itsc55140.2022.9921959
[68]

Wang J, Wu J, Zheng X, Ni D, Li K. Driving safety field theory modeling and its application in pre-collision warning system. Transp Res, Part C Emerg Technol 2016;72:306‒24. . 10.1016/j.trc.2016.10.003
[69]

Hendrycks D, Basart S, Mu N, Kadavath S, Wang F, Dorundo E, et al. The many faces of robustness: a critical analysis of out-of-distribution generalization. 2021. arXiv.2006.16241. . 10.1109/iccv48922.2021.00823
[70]

Shafahi A, Najibi M, Ghiasi A, Xu Z, Dickerson J, Studer C, et al. Adversarial training for free! In: Proceedings of the 33rd International Conference on Neural Information Processing Systems; 2019 Dec 8‒14; Red Hook, NY, USA; New York: ACM Digital Library; 2019. p. 3358‒69. . 10.1609/aaai.v34i04.6017
[71]

Zhuang F, Qi Z, Duan K, Xi D, Zhu Y, Zhu H, et al. A comprehensive survey on transfer learning. Proc IEEE 2021;109(1):43‒76. . 10.1109/jproc.2020.3004555
[72]

Luo R, Zhao S, Kuck J, Ivanovic B, Savarese S, Schmerling E, et al. Sampleefficient safety assurances using conformal prediction. In: LaValle SM, O’Kane JM, Otte M, Sadigh D, Tokekar P, editors. Algorithmic Foundations of Robotics XV, Springer International Publishing. Berlin: Springer; 2023. p. 149‒69. . 10.1007/978-3-031-21090-7_10
[73]

Sadat A, Ren M, Pokrovsky A, Lin YC, Yumer E, Urtasun R. Jointly learnable behavior and trajectory planning for self-driving vehicles. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2019 Nov 1 Macau, China. New York: ACM Digital Library; 2019. p. 3949‒56. . 10.1109/iros40897.2019.8967615
[74]

Ross S, Bagnell D. Efficient Reductions for Imitation Learning. In: Teh, Y.W., Titterington, M., editors. Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics; 2010 May 13‒15; Chia Laguna Resort, Sardinia, Italy. Pittsburgh: PMLR; 2010. p. 661‒8.
[75]

Gansch R, Adee A. System theoretic view on uncertainties. In: 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE); 2020 Mar 9‒13; Grenoble, France; Piscataway. IEEE; 2022. p. 1345‒50. . 10.23919/date48585.2020.9116472
[76]

Adee A, Munk P, Gansch R, Liggesmeyer P. Uncertainty representation with extended evidential networks for modeling safety of the intended functionality (SOTIF). In: Proceedings of the 30th European Safety and Reliability Conference and 15th Probabilistic Safety Assessment and Management Conference; 2020 Nov 1‒5; Venice, Italy; 2020. p. 4148‒55. . 10.3850/978-981-14-8593-0_5737-cd
[77]

Shao W, Xu Y, Li J, Lv C, Wang W, Wang H. How does traffic environment quantitatively affect the autonomous driving prediction? IEEE Trans Intell Transp Syst 2023;24(10):11238‒53. . 10.1109/tits.2023.3278695
[78]

Hüllermeier E, Waegeman W. Aleatoric and epistemic uncertainty in machine learning: an introduction to concepts and methods. Mach Learn 2021;110(3):457‒506. . 10.1007/s10994-021-05946-3
[79]

Yang K, Tang X, Li J, Wang H, Zhong G, Chen J, et al. Uncertainties in onboard algorithms for autonomous vehicles: challenges, mitigation, and perspectives. IEEE Trans Intell Transp Syst 2023;24(9):8963‒87. . 10.1109/tits.2023.3270887
[80]

Kendall A, Gal Y. What uncertainties do we need in Bayesian deep learning for computer vision? In: Proceedings of the 31st International Conference on Neural Information Processing Systems; 2017 Dec 4‒9; Red Hook, NY, USA; New York: ACM Digital Library; 2017.
[81]

Montavon G, Samek W, Müller KR. Methods for interpreting and understanding deep neural networks. Digit Signal Process 2018;73:1‒15. . 10.1016/j.dsp.2017.10.011
[82]

Zhang Y, Tino P, Leonardis A, Tang K. A survey on neural network interpretability. IEEE Trans Emerg Top Comput Intell 2021;5(5):726‒42. . 10.1109/tetci.2021.3100641
[83]

Murdoch WJ, Singh C, Kumbier K, Abbasi-Asl R, Yu B. Definitions, methods, and applications in interpretable machine learning. Proc Natl Acad Sci USA 2019;116(44):22071‒80. . 10.1073/pnas.1900654116
[84]

Louizos C, Welling M. Multiplicative normalizing flows for variational Bayesian neural networks. In: Proceedings of the 34th International Conference on Machine Learning; 2017 Aug 6‒11; Sydney, Australia; New York: ACM Digital Library; 2017. p. 2218‒27.
[85]

Kristiadi A, Hein M, Hennig P. Learnable uncertainty under laplace approximations; 2020. arXiv:
[86]

Salimans T, Kingma DP, Welling M. Markov Chain Monte Carlo and variational inference: bridging the gap. In: Proceedings of the 32nd International Conference on International Conference on Machine Learning-Volume 37; 2015 Jul 7‒9; Lille, France; 2015. p. 1218‒26. . 10.23943/princeton/9780691159287.003.0007
[87]

Gal Y, Ghahramani Z. Dropout as a bayesian approximation: representing model uncertainty in deep learning. In: Proceedings of the 33rd International Conference on Machine Learning; 2016 Jun 19‒24; YorkNew, NY, USA. New York: ACM Digital Library; 2016. p. 1050‒9.
[88]

Lakshminarayanan B, Pritzel A, Blundell C. Simple and scalable predictive uncertainty estimation using deep ensembles. In: Proceedings of the 31st International Conference on Neural Information Processing Systems; 2017 Dec 4‒9; Red Hook, NY, USA. New York: ACM Digital Library; 2017.
[89]

Wenzel F, Snoek J, Tran D, Jenatton R. Hyperparameter ensembles for robustness and uncertainty quantification. In: Proceedings of the 34th International Conference on Neural Information Processing Systems; 2020 Dec 6‒12; HookRed, NY, USA. New York: ACM Digital Library; 2020. p. 6514‒27.
[90]

Wen Y, Tran D, Ba J. BatchEnsemble: an alternative approach to efficient ensemble and lifelong learning; 2020. arXiv:
[91]

Malinin A, Gales M. Predictive uncertainty estimation via prior networks. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems; 2018 Dec 3‒8; Red Hook, NY, USA. New York: ACM Digital Library; 2018.
[92]

Sensoy M, Kaplan L, Kandemir M. Evidential deep learning to quantify classification uncertainty. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems; 2018 Dec 3‒8; Red Hook, NY, USA. New York: ACM Digital Library; 2018. . 10.7551/mitpress/11474.003.0014
[93]

Rosenfeld N, Mansour Y, Yom-Tov E. Discriminative learning of prediction intervals. In: Storkey, A., Perez-Cruz, F., editors. Proceedings of the TwentyFirst International Conference on Artificial Intelligence and Statistics; 2018 Apr 9‒11; Playa Blanca, Lanzarote, Canary Islands. Pittsburgh: PMLR; 2018. p. 347‒55. . 10.1145/3041021.3054190
[94]

Chang J, Lan Z, Cheng C, Wei Y. Data uncertainty learning in face recognition. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2020 Jun 14‒19; Seattle, WA, USA. Piscataway: IEEE. 2020. p. 5709‒18. . 10.1109/cvpr42600.2020.00575
[95]

Gao Y, Ng MK. Wasserstein generative adversarial uncertainty quantification in physics-informed neural networks. J Comput Phys 2022;463:111270. . 10.1016/j.jcp.2022.111270
[96]

Abdar M, Pourpanah F, Hussain S, Rezazadegan D, Liu L, Ghavamzadeh M, et al. A review of uncertainty quantification in deep learning: techniques, applications and challenges. Inf Fusion 2021;76:243‒97. . 10.1016/j.inffus.2021.05.008
[97]

Feng D, Harakeh A, Waslander SL, Dietmayer K. A review and comparative study on probabilistic object detection in autonomous driving. IEEE Trans Intell Transp Syst 2022;23(8):9961‒80. . 10.1109/tits.2021.3096854
[98]

Du M, Liu N, Hu X. Techniques for interpretable machine learning. Commun ACM 2019;63(1):68‒77. . 10.1145/3359786
[99]

Carvalho DV, Pereira EM, Cardoso JS. Machine learning interpretability: a survey on methods and metrics. Electronics 2019;8(8):832. . 10.3390/electronics8080832
[100]

Janai J, Güney F, Behl A, Geiger A. Computer vision for autonomous vehicles: problems, datasets and state of the art. Found Trends Comput Graph Vis 2020;12(1‒3):1‒308.
[101]

Willers O, Sudholt S, Raafatnia S, Abrecht S. Safety concerns and mitigation approaches regarding the use of deep learning in safety-critical perception tasks. In: Casimiro A, Ortmeier F, Schoitsch E, Bitsch F, Ferreira P, editors. Computer Safety, Reliability, and Security. Berlin: Springer; 2020. p. 336‒50. . 10.1007/978-3-030-55583-2_25
[102]

Alcorn MA, Li Q, Gong Z, Wang C, Mai L, Ku WS, et al. Strike (with) a pose: neural networks are easily fooled by strange poses of familiar objects. In: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2019 Jun 15‒20; LongBeach, CA, USA. Piscataway: IEEE. 2019. p. 4840‒9. . 10.1109/cvpr.2019.00498
[103]

Remeli V, Morapitiye S, Rovid A, Szalay Z. Towards verifiable specifications for neural networks in autonomous driving. In: 2019 IEEE 19th International Symposium on Computational Intelligence and Informatics and 7th IEEE International Conference on Recent Achievements in Mechatronics, Automation, Computer Sciences and Robotics (CINTI-MACRo); 2019 Nov 14‒16; Szeged, Hungary. Piscataway: IEEE. 2019. p. 175‒80. . 10.1109/cinti-macro49179.2019.9105190
[104]

Sämann T., Schlicht P., Hüger F., Strategy to increase the safety of a DNNbased perception for HAD systems; 2020. arXiv:
[105]

Hariyono J, Jo KH. Detection of pedestrian crossing road: a study on pedestrian pose recognition. Neurocomputing 2017;234:144‒53. . 10.1016/j.neucom.2016.12.050
[106]

Ajanovic Z, Lacevic B, Shyrokau B, Stolz M, Horn M. Search-based optimal motion planning for automated driving. In: 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2018 Oct 1‒5; Madrid, Spain. Piscataway: IEEE. 2018. p. 4523‒30. . 10.1109/iros.2018.8593813
[107]

Hu J, Zheng B, Wang C, Zhao C, Hou X, Pan Q, et al. A survey on multi-sensor fusion based obstacle detection for intelligent ground vehicles in off-road environments. Front Inf Technol Electron Eng 2020;21(5):675‒92. . 10.1631/fitee.1900518
[108]

Zhao X, Liu Z, Hu R, Huang K. 3D object detection using scale invariant and feature reweighting networks. In: Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty-First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence; 2019 Jan 27-Feb 1; Honolulu, HI, USA. New York: ACM Digital Library. 2019. p. 9267‒74. . 10.1609/aaai.v33i01.33019267
[109]

Guan L, Chen Y, Wang G, Lei X. Real-time vehicle detection framework based on the fusion of lidar and camera. Electronics 2020;9(3):451. . 10.3390/electronics9030451
[110]

Xu R, Xiang H, Xia X, Han X, Li J, Ma J. OPV2V: an open benchmark dataset and fusion pipeline for perception with vehicle-to-vehicle communication. In: 2022 International Conference on Robotics and Automation (ICRA); 2022 May 23‒27; Philadelphia, PA, USA. Piscataway: IEEE; 2022. p. 2583‒9. . 10.1109/icra46639.2022.9812038
[111]

Khan S, Andert F, Wojke N, Schindler J, Correa A, Wijbenga A. Towards collaborative perception for automated vehicles in heterogeneous traffic. In: Dubbert J, Müller B, Meyer G, editors. Advanced Microsystems for Automotive Applications 2018. Berlin: Springer; 2019. p. 31‒42. . 10.1007/978-3-319-99762-9_3
[112]

Aradi S. Survey of deep reinforcement learning for motion planning of autonomous vehicles. IEEE Trans Intell Transp Syst 2022;23(2):740‒59. . 10.1109/tits.2020.3024655
[113]

Zhu Z, Zhao H. A survey of deep RL and IL for autonomous driving policy learning. IEEE Trans Intell Transp Syst 2022;23(9):14043‒65. . 10.1109/tits.2021.3134702
[114]

Xu J, Shao W, Xu Y, Wang W, Li J, Wang H. A risk probability predictor for effective downstream planning tasks. In: 2023 IEEE 26th International Conference on Intelligent Transportation Systems (ITSC); 2023 Sep 24‒28; Bilbao, Spain. Piscataway: IEEE; 2023. . 10.1109/itsc57777.2023.10422040
[115]

Wang X, Qi X, Wang P, Yang J. Decision making framework for autonomous vehicles driving behavior in complex scenarios via hierarchical state machine. Autonomous Intel Syst 2021;1(1):10. . 10.1007/s43684-021-00015-x
[116]

Orzechowski PF, Burger C, Lauer M. Decision-making for automated vehicles using a hierarchical behavior-based arbitration scheme. In: 2020 IEEEIntelligent Vehicles Symposium IV); 2020 Oct 19-Nov 13; Las Vegas, NV, USA. Piscataway: IEEE; 2020. p. 767‒74. . 10.1109/iv47402.2020.9304723
[117]

Hang P, Huang S, Chen X, Tan KK. Path planning of collision avoidance for unmanned ground vehicles: a nonlinear model predictive control approach. Proc Inst Mech Eng, Part I, J Syst Control Eng 2021;235(2):222‒36. . 10.1177/0959651820937844
[118]

Zhang X, Shao W, Zhou M, Tan Q, Li J. A scene comprehensive safety evaluation method based on binocular camera. Robot Auton Syst 2020;128:103503. . 10.1016/j.robot.2020.103503
[119]

Zhao S, Hou Q, Zhai Y. Decision mechanism of vehicle autonomous lane change based on rough set theory. In: Proceedings of the 2021 1st International Conference on Control and Intelligent Robotics; 2021 Jun 18‒20; YorkNew, NY, USA. New York: ACM Digital Library; 2021. p. 33‒9. . 10.1145/3473714.3473721
[120]

Beheshtitabar E, Mohammad Alipour E. A rule based control algorithm for onramp merge with connected and automated vehicles. In: International Conference on Transportation and Development 2020; 2020 May 26‒29; Washington, DC, USA. Washington, DC: American Society of Civil Engineers; 2020. p. 303‒16. . 10.1061/9780784483152.027
[121]

Kiran BR, Sobh I, Talpaert V, Mannion P, Sallab AAA, Yogamani S, et al. Deep reinforcement learning for autonomous driving: a survey. IEEE Trans Intell Transp Syst 2022;23(6):4909‒26. . 10.1109/tits.2021.3054625
[122]

Gao H, Shi G, Xie G, Cheng B. Car-following method based on inverse reinforcement learning for autonomous vehicle decision-making. Int J Adv Robot Syst 2018;15(6):1‒11. . 10.1177/1729881418817162
[123]

Brown A., Petrik M., Interpretable reinforcement learning with ensemble methods; 2018. arXiv:
[124]

Moldovan T.M., Abbeel P., Safe exploration in Markov decision processes; 2012. arXiv:
[125]

Nishimura H, Ivanovic B, Gaidon A, Pavone M, Schwager M. Risk-sensitive sequential action control with multi-modal human trajectory forecasting for safe crowd-robot interaction. In: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2020 Oct 24; Las Vegas, NV, USA. New York: ACM Digital Library. 2020. p. 11205‒12. . 10.1109/iros45743.2020.9341469
[126]

Cao Z, Xu S, Jiao X, Peng H, Yang D. Trustworthy safety improvement for autonomous driving using reinforcement learning. Transp Res, Part C Emerg Technol 2022;138:103656. . 10.1016/j.trc.2022.103656
[127]

Pek C, Manzinger S, Koschi M, Althoff M. Using online verification to prevent autonomous vehicles from causing accidents. Nat Mach Intell 2020;2(9):518‒28. . 10.1038/s42256-020-0225-y
[128]

Cao Z, Jiang K, Zhou W, Xu S, Peng H, Yang D. Continuous improvement of self-driving cars using dynamic confidence-aware reinforcement learning. Nat Mach Intell 2023;5(2):145‒58. . 10.1038/s42256-023-00610-y
[129]

Urban C., Miné A. A review of formal methods applied to machine learning; 2021. arXiv.2104.02466.
[130]

Clarke EM, Henzinger TA, Veith H, Bloem R, editors. Handbook of model checking. Berlin: Springer; 2018. . 10.1007/978-3-319-10575-8
[131]

Katz G, Huang DA, Ibeling D, Julian K, Lazarus C, Lim R, et al. The marabou framework for verification and analysis of deep neural networks. In: Dillig I, Tasiran S, editors. Computer Aided Verification. Berlin: Springer; 2019. p. 443‒52. . 10.1007/978-3-030-25540-4_26
[132]

Bunel RR, Turkaslan I, Torr PHS, Kohli P, Mudigonda PK. In: A unified view of piecewise linear neural network verification. Red Hook, NY, USA. New York: ACM Digital Library; 2018. p. 4795‒804.
[133]

Singh G, Gehr T, Püschel M, Vechev M. An abstract domain for certifying neural networks. Proc ACM Program Lang 2019;3:41. . 10.1145/3290354
[134]

Huang X, Kwiatkowska M, Wang S, Wu M. Safety verification of deep neural networks. In: Majumdar R, Kuncˇak V, editors. Computer Aided Verification. Berlin: Springer; 2017. p. 3‒29. . 10.1007/978-3-319-63387-9_1
[135]

Weng TW, Zhang H, Chen PY, Yi J, Su D, Gao Y, et al., Evaluating the robustness of neural networks: an extreme value theory approach. 2018. arXiv:
[136]

Lee S, Cha S, Lee D, Oh H. Effective white-box testing of deep neural networks with adaptive neuron-selection strategy. In: Proceedings of the 29th ACM SIGSOFT International Symposium on Software Testing and Analysis; 2020 Jul 18‒22; New York, USA. New York: ACM Digital Library; 2020. p. 165‒76. . 10.1145/3395363.3397346
[137]

Byun T, Rayadurgam S, Heimdahl MPE. Black-box testing of deep neural networks. In: 2021 IEEE 32nd International Symposium on Software Reliability Engineering (ISSRE); 2021 Oct 25‒28; Wuhan, China. Piscataway: IEEE; 2021. p. 309‒20. . 10.1109/issre52982.2021.00041
[138]

Ma L, Zhang F, Sun J, Xue M, Li B, Juefei-Xu F, et al. DeepMutation: mutation testing of deep learning systems. In: 2018 IEEE 29th International Symposium on Software Reliability Engineering (ISSRE); 2018 Oct 15‒18; Memphis, TN, USA. Piscataway: IEEE; 2018. p. 100‒11. . 10.1109/issre.2018.00021
[139]

Zhou ZQ, Sun L. Metamorphic testing of driverless cars. Commun ACM 2019;62(3):61‒7. . 10.1145/3241979
[140]

Ma L, Juefei-Xu F, Zhang F, Sun J, Xue M, Li B, et al. DeepGauge: multigranularity testing criteria for deep learning systems. In: Proceedings of the 33rd ACM/IEEE International Conference on Automated Software Engineering; 2018 Sep 3‒7; Montpellier, France. Piscataway: IEEE; 2018. p. 120‒31. . 10.1145/3238147.3238202
[141]

Aggarwal A, Shaikh S, Hans S, Haldar S, Ananthanarayanan R., Saha D. Testing framework for black-box AI models. In: 2021 IEEE/ACM 43rd International Conference on Software Engineering: Companion Proceedings (ICSECompanion); 2021 May 25‒28; Madrid, ES. Piscataway: IEEE; 2021. p. 81‒4. . 10.1109/icse-companion52605.2021.00041
[142]

Volk G, Gamerdinger J, von Bernuth A, Bringmann O. A comprehensive safety metric to evaluate perception in autonomous systems. In: 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC); 2020 Sep 20‒23; Rhodes, Greece. Piscataway: IEEE; 2020. p. 1‒8. . 10.1109/itsc45102.2020.9294708
[143]

Ivanovic B., Pavone M., Rethinking trajectory forecasting evaluation; 2021. arXiv:
[144]

Deng BL, Li G, Han S, Shi L, Xie Y. Model compression and hardware acceleration for neural networks: a comprehensive survey. Proc IEEE 2020;108(4):485‒532. . 10.1109/jproc.2020.2976475
[145]

Sze V, Chen YH, Yang TJ, Emer JS. Efficient processing of deep neural networks: a tutorial and survey. Proc IEEE 2017;105(12):2295‒329. . 10.1109/jproc.2017.2761740
[146]

Wei T, Liu C. Online Verification of deep neural networks under domain shift or network updates; 2023. arXiv:
[147]

Zhao F, Zhang C, Dong N, You Z, Wu Z. A uniform framework for anomaly detection in deep neural networks. Neural Process Lett 2022;54(4):3467‒88. . 10.1007/s11063-022-10776-y
[148]

ShaoW.,LiB.,YuW.,XuJ.,WangH.Whenisitlikelytofail?performancemonitor for black-box trajectory prediction model; 2023. techrxiv.24265672.v1.
[149]

Mougan C, Nielsen DS. Monitoring model deterioration with explainable uncertainty estimation via non-parametric bootstrap. In: Proceedings of the Thirty-Seventh AAAI Conference on Artificial Intelligence and Thirty-Fifth Conference on Innovative Applications of Artificial Intelligence and Thirteenth Symposium on Educational Advances in Artificial Intelligence; 2023 Feb 7‒14; New York: ACM Digital Library; 2023. p. 15037‒45. . 10.1609/aaai.v37i12.26755
[150]

Rahman QM, Corke P, Dayoub F. Run-time monitoring of machine learning for robotic perception: a survey of emerging trends. IEEE Access 2021;9:20067‒75. . 10.1109/access.2021.3055015
[151]

Mohseni S, Pitale M, Singh V, Wang Z, Practical solutions for machine learning safety in autonomous vehicles; 2019. arXiv:
[152]

Mohseni S, Jagadeesh A, Wang Z, Predicting model failure using saliency maps in autonomous driving systems; 2019. arXiv:
[153]

Hecker S, Dai D, Van Gool L. Failure prediction for autonomous driving. In: 2018 IEEEIntelligent Vehicles Symposium IV); 2018 Jun 26‒30; Changshu, China. Piscataway: IEEE; 2018. p. 1792‒9. . 10.1109/ivs.2018.8500495
[154]

Gurău C, Rao D, Tong CH, Posner I. Learn from experience: probabilistic prediction of perception performance to avoid failure. Int J Robot Res 2018;37(9):981‒95. . 10.1177/0278364917730603
[155]

Yang J, Rahardja S, Fränti P. Mean-shift outlier detection and filtering. Pattern Recognit 2021;115:107874. . 10.1016/j.patcog.2021.107874
[156]

Grathwohl W, Wang KC, Jacobsen JH, Duvenaud D, Norouzi M, Swersky K. Your classifier is secretly an energy based model and you should treat it like one; 2020. arXiv:
[157]

Gautam C, Balaji R, Tiwari A, Ahuja K. Localized multiple kernel learning for anomaly detection: one-class classification. Knowl Base Syst 2019;165:241‒52. . 10.1016/j.knosys.2018.11.030
[158]

Gu X, Akoglu L, Rinaldo A. Statistical analysis of nearest neighbor methods for anomaly detection. In: In: Proceedings of the 33rd International Conference on Neural Information Processing Systems; 2018 Dec 8; Red Hook, NY, USA. New York: ACM Digital Library; 2019. p. 10923‒33.
[159]

Sharan V, Gopalan P, Wieder U. Efficient anomaly detection via matrix sketching. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems; 2018 Dec 3‒8; HookRed, NY, USA. New York: ACM Digital Library; 2018. p. 8080‒91.
[160]

Chalapathy R, Chawla S. Deep learning for anomaly detection: a survey; 2019. arXiv:10.1145/3394486.3406704
[161]

Lindemann B, Maschler B, Sahlab N, Weyrich M. A survey on anomaly detection for technical systems using LSTM networks. Comput Ind 2021;131:103498. . 10.1016/j.compind.2021.103498
[162]

Kim KH, Shim S, Lim Y, Jeon J, Choi J, Kim B, et al. RaPP: Novelty detection with reconstruction along projection pathway. In: Proceedings of the International Conference on Learning Representations (ICLR) 2020; 2020; Virtual Conference. Available from: 10.3390/app10134497
[163]

Goodfellow I.J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al., Generative adversarial networks; 2014. arXiv:
[164]

Kingma DP, Welling M. An introduction to variational autoencoders. Found Trends Mach Learn 2019;12(4):307‒92. . 10.1561/2200000056
[165]

Corbière C, Thome N, Bar-Hen A, Cord M, Pérez P. Addressing failure prediction by learning model confidence. In: Proceedings of the 33rd International Conference on Neural Information Processing Systems; 2018 Dec 8; Red Hook, NY, USA. New York: ACM Digital Library; 2019. p. 2902‒2913.
[166]

Shao W, Li J, Wang H. Self-aware trajectory prediction for safe autonomous driving. In: 2023 IEEEIntelligent Vehicles Symposium IV); 2023 Jun 4‒7; Anchorage, AK, USA. Piscataway: IEEE; 2023. p. 1‒8. . 10.1109/iv55152.2023.10186629
[167]

Rahman QM, Sunderhauf N, Dayoub F. Online monitoring of object detection performance during deployment. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2021 Sep 27-Oct 1; Prague, Czech Republic. Piscataway: IEEE; 2021. p. 4839‒45. . 10.1109/iros51168.2021.9635940
[168]

Rahman QM, Sunderhauf N, Dayoub F. Per-frame mAP Prediction for continuous performance monitoring of object detection during deployment. In: 2021 IEEE Winter Conference on Applications of Computer Vision Workshops (WACVW); 2021 Jan 5‒9; Waikola, HI, USA. Piscataway: IEEE; 2021. p. 152‒60. . 10.1109/wacvw52041.2021.00021
[169]

Henzinger TA, Lukina A, Schilling C. Outside the box: abstraction-based monitoring of neural networks; 2020. arXiv:
[170]

Luan S, Gu Z, Freidovich LB, Jiang L, Zhao Q. Out-of-distribution detection for deep neural networks with isolation forest and local outlier factor. IEEE Access 2021;9:132980‒9. . 10.1109/access.2021.3108451
[171]

Lee K, Lee K, Lee H, Shin J. A simple unified framework for detecting out-ofdistribution samples and adversarial attacks. In: Proceedings of the 32nd International Conference on Neural Information Processing Systems; 2018 Dec 3‒8; Red Hook, NY, USA. New York: ACM Digital Library; 2018. . 10.1109/icnp.2018.00031
[172]

HuangR,GengA,LiY.Ontheimportanceofgradientsfordetectingdistributional shifts in the wild. In: Proceedings of the Advances in Neural Information Processing Systems 34 (NeurIPS 2021); 2021 Dec; Virtual Conference. Available from:

[173]

Hendrycks D, Gimpel K. A baseline for detecting misclassified and out-ofdistribution examples in neural networks. In: Proceedings of International Conference on Learning Representations; 2017.
[174]

Liang S, Li Y, Srikant R. Enhancing the reliability of out-of-distribution image detection in neural networks; 2018. arXiv:
[175]

Shao W, Xu Y, Peng L, Li J, Li J, Wang H. Failure detection for motion prediction of autonomous driving: an uncertainty perspective. In: 2023 IEEE International Conference on Robotics and Automation (ICRA); 2023 May 29-Jun 2; London, United Kingdom. Piscataway: IEEE; 2023. p. 12721‒8. . 10.1109/icra48891.2023.10160596
[176]

Yang K, Li B, Shao W, Tang X, Liu X, Wang H. Prediction failure risk-aware decision-making for autonomous vehicles on signalized intersections. IEEE Trans Intell Transp Syst 2023;24(11):12806‒20. . 10.1109/tits.2023.3288507
[177]

Kaur R, Jha S, Roy A, Park S, Sokolsky O, Lee I. Detecting OODs as datapoints with high uncertainty; 2021. arXiv:10.1609/aaai.v36i7.20670
[178]

Weiss M, Tonella P. Fail-safe execution of deep learning based systems through uncertainty monitoring. In: 2021 14th IEEE Conference on Software Testing, Verification and Validation (ICST); 2021 Apr 12‒16; Porto de Galinhas, Brazil. Piscataway: IEEE; 2021. p. 24‒35. . 10.1109/icst49551.2021.00015
[179]

Ramanagopal MS, Anderson C, Vasudevan R, Johnson-Roberson M. Failing to learn: autonomously identifying perception failures for self-driving cars. IEEE Robot Autom Lett 2018;3(4):3860‒7. . 10.1109/lra.2018.2857402
[180]

Antonante P, Spivak DI, Carlone L. Monitoring and diagnosability of perception systems. In: 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 2021 Sep 27-Oct 1; Prague, Czech Republic. Piscataway: IEEE; 2021. p. 168‒75. . 10.1109/iros51168.2021.9636497
[181]

Stahl T, Diermeyer F. Online verification enabling approval of driving functions-implementation for a planner of an autonomous race vehicle. IEEE Open J Intell Transp Syst 2021;2:97‒110. . 10.1109/ojits.2021.3078121
[182]

GroupBMW. Safety Assessment Report: SAE Level 3 Automated Driving System. [Internet]. 2022 [cited 2023 Oct 26]. Available from:

[183]

Baidu, Apollo pilot safety report. [Internet]. 2018 [cited 2023 Oct 26]. Available from:

[184]

GM. Self-driving safety report. [Internet]. 2018 [cited 2023 Oct 26]. Available from:

[185]

Ford Motor Company. A Matter of Trust: Ford Releases Safety Assessment Report for Self-Driving Vehicle Development. [Internet]. Dearborn, MI: Business Wire; 2018 Aug 16 [cited 2023 Oct 26]. Available from:

[186]

Nuro. Delivering Safety: Nuro VSSA Dec 2021. [Internet]. 2021 Dec 16 [cited 2023 Oct 26]. Available from:

[187]

NAVYA. Safety Report. [Internet]. 2019 [cited 2023 Oct 26]. Available from:

[188]

NVIDIA. Self-Driving Safety Report 2018. [Internet]. 2018 [cited 2023 Oct 26]. Available from:

[189]

Ebel S., Bosch case study: application of SOTIF for ADAS. Report. Robert Bosch GmbH 2018, n.d.
[190]

APTIV, AUDI, BAIDU, BMW, Continental, FCA, et al. Safety first for automated driving [Internet]. 2019 [cited 2023 Oct 26]. Available from: 10.1201/9780429293856-2
[191]

Kaiser B. An integrative solution towards SOTIF and AV safety. In: IQPCSOTIF Conference; 2019 Oct 1‒2; Austin, TX, USA; 2019.
[192]

Becker C., Brewer J.C., Yount L., John A. Safety of the intended functionality of lane-centering and lane-changing maneuvers of a generic level 3 highway chauffeur system. Report. Washington D.C.: National Highway Traffic Safety Administration; 2020. Report No.: DOT HS 812 879. . 10.4135/9781544377230.n133
[193]

hella.com [Internet]. Lippstadt: HELLA GmbH & Co. KGaA; [cited 2023 Oct 26]. Available from:

[194]

Mobileye Mobileye safety methodology. Report. Mobileye; 2023.
[195]

Junietz P, Wachenfeld W, Klonecki K, Winner H. Evaluation of different approaches to address safety validation of automated driving. In: 2018 21st International Conference on Intelligent Transportation Systems (ITSC); 2018 Nov 4‒7; Maui, HI, USA. Piscataway: IEEE; 2018. p. 491‒6. . 10.1109/itsc.2018.8569959
[196]

Hallerbach S, Xia Y, Eberle U, Koester F. Simulation-based identification of critical scenarios for cooperative and automated vehicles. SAE Int J Connect Autom Veh 2018;1(2):93‒106. . 10.4271/2018-01-1066
[197]

Holder M, Rosenberger P, Winner H, Dhondt T, Makkapati VP, Maier M, et al. Measurements revealing challenges in radar sensor modeling for virtual validation of autonomous driving. In: 2018 21st International Conference on Intelligent Transportation Systems (ITSC); 2018 Nov 4‒7; Maui, HI, USA. Piscataway: IEEE; 2018. p. 2616‒22. . 10.1109/itsc.2018.8569423
[198]

Duy Son T, Bhave A, Van Der Auweraer H. Simulation-based testing framework for autonomous driving development. In: 2019 IEEE International Conference on Mechatronics (ICM); 2019 Mar 18‒20; Ilmenau, Germany. Piscataway: IEEE; 2019. p. 576‒83. . 10.1109/icmech.2019.8722847
[199]

Siemens AG. Scenario-based validation and verification of automated driving systems [Internet]. Siemens AG; 2022 [cite 2023 Oct 26]. Available from:

[200]

Akagi Y, Kato R, Kitajima S, Antona-Makoshi J, Uchida N. A risk-index based sampling method to generate scenarios for the evaluation of automated driving vehicle safety. In: 2019 IEEE Intelligent Transportation Systems Conference (ITSC); 2019 Oct 27‒30; Auckland, New Zealand. Piscataway: IEEE; 2019. p. 667‒72. . 10.1109/itsc.2019.8917311
[201]

Nakamura H, Muslim H, Kato R, Préfontaine-Watanabe S, Nakamura H, Kaneko H, et al. Defining reasonably foreseeable vehicle parameter ranges for scenario-based testing of automated vehicles in consideration of risk acceptance. IEEE Access 2021;10:37743‒60. . 10.1109/access.2022.3162601
[202]

Thal S, Znamiec H, Henze R, Nakamura H, Imanaga H, Antona-Makoshi J, et al. Incorporating safety relevance and realistic parameter combinations in testcase generation for automated driving safety assessment. In: 2020 IEEE 23rd International Conference on Intelligent Transportation Systems (ITSC); 2020 Sep 20‒23; Rhodes, Greece. Piscataway: IEEE; 2020. p. 1‒6. . 10.1109/itsc45102.2020.9294724
[203]

Economic Commission for Europe. UN Regulation No. 157 (Automated Lane Keeping Systems) [Internet]. Geneva: United Nations Economic Commission for Europe; 2022 Mar 5 [cited 2023 Oct 26]. Available from: 10.18356/9789210013246c001
[204]

Japan Automobile Manufacturers Association, Inc. Automated Driving Safety Evaluation Framework Ver 3.0 [Internet]. Tokyo: Japan Automobile Manufacturers Association, Inc.; 2022 Dec. Available from:

[205]

Borg M, Englund C, Wnuk K, Duran B, Levandowski C, Gao S, et al. Safely entering the deep: a review of verification and validation for machine learning and a challenge elicitation in the automotive industry. 2018. arXiv:10.2991/jase.d.190131.001
[206]

Henriksson J, Borg M, Englund C. Automotive safety and machine learning: initial results from a study on how to adapt the ISO 26262 safety standard. In: Proceedings of the 1st International Workshop on Software Engineering for AI in Autonomous Systems; 2018 May 28; Gothenburg, Sweden. Piscataway: IEEE; 2018. p. 47‒49. . 10.1145/3194085.3194090
[207]

Henriksson J, Berger C, Borg M, Tornberg L, Englund C, Sathyamoorthy SR, et al. Towards structured evaluation of deep neural network supervisors. In: 2019 IEEE International Conference On Artificial Intelligence Testing (AITest); 2019 Apr 4‒9, Newark, CA, USA. Piscataway: IEEE; 2019. p. 27‒34. . 10.1109/aitest.2019.00-12
[208]

IVEX NV. Safety Co-pilot [Internet]. Heverlee: IVEX NV; 2023 [cited 2023 Oct 26]. Available from:

[209]

PAS 1880 :2020: Guidelines for developing and assessing control systems for automated vehicles. British Standards Institution, 2020.
[210]

Karpathy A. Multi-Task Learning in the Wilderness [Internet]. Long Beach, CA: SlidesLive; 2019 Jun 15 [cited 2023 Oct 26]. Available from:

[211]

Gao P. You Should Try Active Learning! [Internet]. Medium; 2021 Jan 28 [cited 2023 Oct 26]. Available from:

[212]

Koumchatzky N. Maglev: software 2.0 platform for autonomous vehicles development. Report. Santa Clara: NVIDIA; 2020.
[213]

Motional. Technically speaking: learning with every mile driven. Report. Boston: Motional; 2021.
[214]

Harris S. Cruise’s Continuous Learning Machine Predicts the Unpredictable on San Francisco Roads [Internet]. Medium; 2020 Sep 11 [cited 2023 Oct 26]. Available from:

[215]

Mahajan HS, Bradley T, Pasricha S. Application of systems theoretic process analysis to a lane keeping assist system. Reliab Eng Syst Saf 2017;167:177‒83. . 10.1016/j.ress.2017.05.037
[216]

Stolte T, Bagschik G, Maurer M. Safety goals and functional safety requirements for actuation systems of automated vehicles. In: 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC); 2016 Nov 1‒4; Rio de Janeiro, Brazil. Piscataway: IEEE; 2016. p. 2191‒8. . 10.1109/itsc.2016.7795910
[217]

Zhao S., Duan J., Wu S., Gu X., Li C. Yin K.,et al. Genetic Algorithm-Based SOTIF Scenario Construction for Complex Traffic Flow. Automot. Innov. 2023;6:531‒46. . 10.1007/s42154-023-00251-2
[218]

Cao P, Wachenfeld W, Winner H. Perception sensor modeling for virtual validation of automated driving. It-Information Technology 2015;57:243‒51. . 10.1515/itit-2015-0006
[219]

Linder A, Davidse RJ, Iraeus J, John J, Keller A, Klug C, et al. VIRTUAL-a European approach to foster the uptake of virtual testing in vehicle safety assessment. In: Proceedings of 8th Transport Research Arena TRA 2020; 2020 Apr 27‒30; Helsinki, Finland. 2020.
[220]

Yahoo. Honda wins world-first approval for level 3 autonomous car. Report. Science X 2020.
[221]

Capperella. Mercedes drive pilot level 3 autonomous system to launch in Germany. Report. Harlan: Car and Driver; 2023.
[222]

Proposal for a new UN Regulation on: Uniform provisions concerning the approval of vehicles with regard to Automated Lane Keeping Systems. Report. 2021 Oct. Report No.: GRSG-122‒ 16.
[223]

Madala K, Krishnamoorthy J, Gonzalez CA, Shivkumar A, Solmaz, M. Contributing factors to consider while defining acceptance criteria and. . 10.4271/2022-01-0065
[224]

validation targets for assuring SOTIF in autonomous vehicles, SAE Technical Paper 2022. . 10.4271/2022-01-0065
[225]

Favaro F, Fraade-Blanar L, Schnelle S, Victor T, Peña M, Engstrom J, et al., Building a credible case for safety: waymo’s approach for the determination of absence of unreasonable risk. 2023. arXiv:
[226]

Boddeker B, Von Wendorff W, Nguyen N, Diehl P, Meertens R, Johannson R. Automated driving safety-the art of conscious risk taking -minimum lateral distances to pedestrians. In: 2021 Design, Automation & Test in Europe Conference & Exhibition (DATE); 2021 Feb 1‒5. Grenoble, France. Piscataway: IEEE; 2021. p. 1466‒71. . 10.23919/date51398.2021.9473991
[227]

Rafrafi M, Bourdeaud’Huy T, El Koursi EM. Risk apportionment methodology based on functional analysis. In: The Proceedings of the Multiconference on “Computational Engineering in Systems Applications”; 2006 Oct 4‒6; Beijing, China. Piscataway: IEEE; 2006. p. 1103‒9. . 10.1109/cesa.2006.4281809
[228]

Langdalen H, Abrahamsen EB, Selvik JT. On the importance of systems thinking when using the ALARP principle for risk management. Reliab Eng Syst Saf 2020;204:107222. . 10.1016/j.ress.2020.107222
[229]

Tang X, Yang K, Wang H, Wu J, Qin Y, Yu W, et al. Prediction-uncertaintyaware decision-making for autonomous vehicles. IEEE Trans. Intell. Veh 2022;7(4):849‒62. . 10.1109/tiv.2022.3188662
[230]

Yang K, Tang X, Qiu S, Jin S, Wei Z, Wang H. Towards robust decision-making for autonomous driving on highway. IEEE Trans Vehicular Technol 2023;72(9):11251‒63. . 10.1109/tvt.2023.3268500
[231]

Peng L, Li B, Yu W, Yang K, Shao W, Wang H. SOTIF entropy: online SOTIF risk quantification and mitigation for autonomous driving. IEEE Trans Intell Transp Syst. In press. . 10.1109/tits.2023.3322166
[232]

Peng L, Wang H, Li J. Uncertainty Evaluation of Object Detection Algorithms for Autonomous Vehicles. Automot. Innov. 2021;4:241‒52. . 10.1007/s42154-021-00154-0
[233]

Liu J, Wang H, Cao Z, Yu W, Zhao C, Zhao D, et al. Semantic traffic law adaptive decision-making for self-driving vehicles. IEEE Trans Intell Transp Syst 2023;24(12):14858‒72. . 10.1109/tits.2023.3294579
[234]

Li S, Zhang J, Wang S, Li P, Liao Y. Ethical and legal dilemma of autonomous vehicles: study on driving decision-making model under the emergency situations of red light-running behaviors. Electronics 2018;7(10):264. . 10.3390/electronics7100264
[235]

Wang H, Khajepour A, Cao D, Liu T. Ethical decision making in autonomous vehicles: challenges and research progress. IEEE Intell. Transport. Syst. Mag. 2022;14:6‒17. . 10.1109/mits.2019.2953556
[236]

Medvet E, Bartoli A, Talamini J. Road traffic rules synthesis using grammatical evolution. In: Squillero G, Sim K, editors. Applications of Evolutionary Computation. Berlin: Springer; 2017. p. 173‒88. . 10.1007/978-3-319-55792-2_12
[237]

Talamini J, Bartoli A, De Lorenzo A, Medvet E. On the impact of the rules on autonomous drive learning. Appl Sci 2020;10(7):2394. . 10.3390/app10072394
AI Summary AI Mindmap
PDF (3263KB)

23607

访问

0

被引

详细
导航
相关文章

AI思维导图

/

〈 〉