2024年1月，ISO与IEC联合发布技术报告《AI功能安全与AI智能系统》（ISO/IEC TR 5469:2024）。

近年来，人工智能（AI）技术在工业中的应用大幅增加，而且人工智能在某些应用中已被证明能够带来益处。然而，关于功能安全的人工智能系统的规范、设计和验证，或如何将人工智能技术应用于具有安全相关效应的功能方面的信息却很有限。对于利用人工智能技术（如机器学习ML）实现的功能，很难解释它们为什么会以特定的方式运行，也很难保证它们的性能。因此，在一般情况下使用人工智能技术时，尤其是在使用人工智能技术实现与安全相关的系统时，很可能会出现一些特殊的考虑因素。

强大的计算和数据存储技术让大规模部署人工智能成为可能。对于越来越多的应用来说，采用机器学习（作为一种人工智能技术）能够快速、成功地开发出检测数据趋势和模式的功能。这使得通过观察诱导函数行为并快速提取决定其行为的关键参数成为可能。机器学习还可用于识别异常行为或在特定环境中收敛到最佳解决方案。成功的 ML 应用领域包括金融数据分析、社交网络应用和语言识别、图像识别（尤其是人脸识别）、医疗保健管理和预后、数字助理、制造机器人、机器健康监测和自动驾驶汽车。

除 ML 外，其他人工智能技术在工程应用中也越来越重要。例如，应用统计学、概率论和估算理论使机器人和感知领域取得了重大进展。因此，人工智能技术和人工智能系统开始实现影响安全的应用。

模型在人工智能技术的实施中发挥着核心作用。这些模型的属性可用于证明人工智能技术和人工智能系统与功能安全要求的兼容性。例如，当决定功能行为的关键参数之间存在已知和可理解的科学关系时，观察到的输入数据和输出数据之间就可能存在很强的相关性。这就产生了一个透明且足够完整的模型，作为人工智能技术的基础。在这种情况下，模型与功能安全要求的兼容性就得到了证明。然而，人工智能技术通常用于以下情况：物理现象非常复杂或规模非常小，或者在不影响实验数据的情况下无法观测，因此没有基本行为的科学模型。在这种情况下，人工智能技术的模型可能既不透明也不完整，模型与功能安全要求的兼容性也难以证明。

机器学习用于创建模型，从而扩展对世界的理解。然而，机器学习模型的好坏取决于用于推导模型的信息。如果训练数据没有涵盖重要的案例，那么得出的模型就是不正确的。随着观察到更多的已知实例，这些实例被用来强化模型，但这会使观察结果的相对重要性产生偏差，从而使函数偏离频率较低但仍真实存在的行为。持续观察和强化会使模型趋于最佳状态，否则就会过分强调普通数据，而忽略极端但关键的条件。

在通过使用人工智能技术不断改进模型的情况下，由于功能行为逐渐偏离经过严格测试的、理想的确定性和可重复性行为，为证明其安全完整性而进行的验证和确认活动就会受到破坏。

本报告旨在帮助安全相关系统的开发人员了解人工智能技术的特性、功能安全风险因素、可用功能安全方法和潜在限制因素，从而将人工智能技术恰当地应用到安全功能中。本文件还提供了与人工智能系统功能安全相关的挑战和解决概念的信息。

第 5 条概述功能安全及其与人工智能技术和人工智能系统的关系。

第 6 条描述了人工智能技术的不同类别，以表明当人工智能技术构成安全功能的一部分时，可能符合现有的功能安全国际标准。第 6 条还根据人工智能技术对系统的最终影响，介绍了人工智能技术的不同使用级别。最后，第 6 条还对与人工智能技术等级和使用水平的不同组合相关的功能安全风险的相对水平进行了定性概述。

第 7 条基于 ISO/IEC 22989，描述了在安全相关系统中使用人工智能技术的三阶段实现原则，在这些系统中，无法直接显示是否符合现有的功能安全国际标准。

第 8 条讨论了人工智能系统的特性和相关功能安全风险因素，提出了这种使用所带来的挑战，以及在试图处理或减轻这些挑战时所考虑的特性。

第 9、10 和 11 条从验证和确认、控制和缓解措施、流程和方法等方面介绍了应对这些挑战的可能解决方案。

附件提供了应用实例和更多细节。附件 A 阐述了如何将 IEC 61508-3 应用于人工智能技术元素，附件 B 提供了如何应用三阶段实现原则和定义各种属性的示例。附件 C 介绍了与 9.3 相关的更多详细流程。附件 D 显示了 IEC 61508-3 中的安全生命周期与 ISO/IEC 5338 中的人工智能系统生命周期之间的映射。