什么是美国国家标准与技术研究院人工智能风险管理框架?
鉴于企业对人工智能(AI)系统的应用日益广泛,而相关风险管理指南却严重缺失,美国国家标准与技术研究院(NIST)于2023年1月推出了人工智能风险管理框架(AI RMF)。 NIST指出,该框架旨在"为设计、开发、部署或使用AI系统的组织提供资源,协助管理AI的多元风险,并推动AI系统的可信赖与负责任开发及应用"。AI RMF属于自愿性框架,适用于任何企业、行业及地域。
风险管理框架(RMF)分为两部分。第一部分概述了美国国家标准与技术研究院(NIST)所称“可信人工智能系统”的风险与特征。第二部分阐述了帮助组织应对人工智能系统风险的四大功能:治理、映射、测量和管理。下图对这四大功能进行了说明。
人工智能风险管理框架中的功能。
NIST人工智能风险管理框架如何应用于第三方风险管理?
组织必须遵循风险管理原则,以最大限度降低人工智能系统可能带来的负面影响,例如幻觉问题、数据隐私风险以及对公民权利的威胁。这种考量同样适用于第三方人工智能系统的使用,或第三方对人工智能系统的应用。第三方滥用人工智能的潜在风险包括:
- 人工智能应用程序本身存在的安全漏洞。若缺乏适当的治理机制和安全防护措施,您的组织可能面临系统或数据遭破坏的风险。
- 人工智能风险评估方法或测量手段缺乏透明度。测量与报告机制的缺陷可能导致对潜在人工智能风险影响的低估。
- 人工智能安全政策与其他现行风险管理程序不一致。这种不一致导致审计过程复杂且耗时,可能引发潜在的法律或合规风险。
根据美国国家标准与技术研究院(NIST)的说法,风险管理框架(RMF)将帮助组织克服这些潜在风险。
NIST人工智能风险管理框架中的关键第三方风险管理考量
美国国家标准与技术研究院(NIST)的人工智能风险管理框架(AI RMF)将其四大核心功能细分为19个类别和72个子类别,这些类别和子类别明确界定了具体行动与预期成果。NIST提供了一份实用指南, 进一步阐释了 各项行动要点。
下表回顾了框架中的四项功能和选定类别,并提出了应对潜在第三方人工智能风险的考虑因素。
注:此为摘要表。如需全面了解美国国家标准与技术研究院(NIST)人工智能风险管理框架,请下载 完整版 ,并联合贵机构内部审计、法律、IT、安全及供应商管理团队共同推进。
| 美国国家标准与技术研究院人工智能风险管理框架分类 | TPRM 考量因素 |
| 治理是风险管理框架(RMF)的基础功能,它建立风险管理文化,定义流程,并为该计划提供结构支撑。 | |
| 治理1:组织内部关于人工智能风险的识别、衡量和管理相关的政策、流程、程序及实践已建立到位,且具有透明度并得到有效实施。
GOVERN 2:已建立问责机制,确保相关团队和个人获得授权、承担责任并接受培训,以实现人工智能风险的识别、评估与管控。 GOVERN 3:在人工智能风险的全生命周期映射、测量和管理过程中,优先考虑劳动力多样性、公平性、包容性和无障碍性流程。 治理原则4:组织团队致力于营造一种重视并沟通人工智能风险的文化。 GOVERN 5:已建立与相关人工智能行为体开展有效互动的机制。 GOVERN 6:已制定政策和程序,以应对第三方软件和数据及其他供应链问题所引发的人工智能风险与效益。 |
制定人工智能政策和程序,将其纳入全面的第三方风险管理(TPRM)计划,并与更广泛的信息安全及治理、风险与合规框架保持一致。
寻求专家与您的团队协作,共同定义并实施人工智能与第三方风险管理(TPRM)流程及解决方案;筛选风险评估问卷与框架;并根据贵组织的风险偏好,优化项目方案以应对人工智能风险——覆盖第三方全生命周期,从供应商遴选与尽职调查,直至终止合作与退出流程。 作为这一过程的一部分,您应该确定:
|
| MAP是建立框架以界定人工智能系统相关风险的函数。 | |
| 图1:背景已建立并被理解。
图2:执行人工智能系统的分类。 图3:理解人工智能能力、目标应用场景、目标设定,以及与适当基准相比的预期效益和成本。 图4:对人工智能系统的所有组件(包括第三方软件和数据)进行风险与收益的映射分析。 图5:描述了对个人、群体、社区、组织及社会的影响特征。 |
建立健全的风险管理流程并理解人工智能应用场景,首先需对第三方进行分类分级,这涉及量化所有第三方固有风险——本案例中即人工智能固有风险。用于计算第三方分类分级固有风险的评估标准包括:
基于此内在风险评估,您的团队可自动按AI风险暴露程度对供应商进行分级,设定相应的尽职调查深度,并确定持续评估的范围。 基于规则的分层逻辑通过多种数据交互和监管考量实现供应商分类。 |
| MEASURE是用于分析、评估、基准测试和监控人工智能风险及相关影响的功能。 | |
| 措施1:确定并应用适当的方法和指标。
措施2:对人工智能系统进行可信赖特性评估。 措施3:已建立机制,用于长期追踪已识别的AI风险。 措施4:收集并评估关于测量有效性的反馈。 |
寻找解决方案时,可利用第三方风险评估的丰富预制模板库。在供应商入职、合同续签或任何必要频率(如每季度或每年)进行评估时,应审查其人工智能实践情况,具体频率取决于重大变更的发生。
评估应集中管理,并依托工作流、任务管理及自动化证据审查功能,确保团队在整个合作关系生命周期内能够全面掌握第三方风险状况。 值得注意的是,第三方风险管理解决方案应包含基于风险评估结果的内置整改建议,以确保第三方能够及时妥善处理风险,同时向审计人员提供适当的证据。 为完善供应商人工智能评估体系,需持续追踪并分析第三方面临的外部威胁。具体措施包括:监控互联网及暗网中的网络威胁与漏洞。所有监测数据应与评估结果关联,并集中存储于各供应商的统一风险登记册中,从而优化风险审查、报告、整改及响应流程。 监测来源通常包括:
最后,持续对照您的要求衡量第三方关键绩效指标(KPI)和关键风险指标(KRI),以帮助团队发现风险趋势、确定第三方风险状况,并识别可能需要进一步调查的异常行为。 |
| 管理职能要求定期将风险资源分配给已映射和测量的风险,具体分配依据由治理职能定义。这包括针对事件或事故的响应、恢复及沟通计划。 | |
| 管理1:基于MAP和MEASURE功能的评估及其他分析结果,对人工智能风险进行优先级排序、响应及管理。
管理2:制定、准备、实施、记录并参考相关人工智能参与者的意见,以最大化人工智能效益并最小化其负面影响的策略。 管理3:来自第三方实体的人工智能风险与收益得到管控。 管理4:针对已识别和量化的AI风险,其风险应对措施(包括响应与恢复)及沟通计划均已记录在案,并定期进行监控。 |
作为更广泛事件管理策略的一部分,请确保您的第三方事件响应计划能够使团队快速识别、应对、报告并减轻第三方供应商人工智能安全事件的影响。
第三方事件响应服务的主要功能包括
凭借这些洞察,您的团队能够更有效地管理和分级处理第三方实体,了解事件的范围和影响、涉及的数据类型、第三方运营是否受到影响,以及修复措施完成的时间节点。 |
下一步行动:将第三方人工智能管控措施与您的TPRM计划保持一致
Mitratech不仅能帮助贵机构完善自身的人工智能治理体系,更能优化其对第三方人工智能风险的管理。具体而言,我们可协助您:
- 建立治理政策、标准、体系和流程,作为整体技术风险管理计划的一部分,保护数据和系统免受人工智能风险的影响。(与类别GOVERN 6保持一致。)
- 对第三方进行分类和分级,同时量化使用第三方人工智能相关的固有风险,确保所有风险均被纳入风险图谱。(与类别MAP 4一致。)
- 在您的全面风险管理计划框架内,开展全面的第三方风险评估,并持续监测和衡量人工智能相关的特定风险。(对应于"衡量"类别。)
- 确保对第三方实体引发的人工智能特定风险实施全面事件响应。(与MANAGE 3一致。)
在您的第三方风险管理(TPRM)计划中运用美国国家标准与技术研究院(NIST)人工智能风险管理框架,将助力贵机构建立对第三方人工智能使用的管控机制与责任体系。若需了解Mitratech如何简化此流程,请立即申请演示。
编者按:本文最初发表于Prevalent.net网站,发布时间为2023年,并于2025年4月进行了更新。2024年10月,Mitratech收购了人工智能驱动的第三方风险管理平台Prevalent。此后本文内容已更新,包含与我司产品服务、监管政策变更及合规要求相符的信息。

