本文将探讨美国、英国、欧盟及加拿大在人工智能监管方面的进展与指导方针。此外,我们将分析各项法规对第三方风险管理格局的影响。
《欧盟人工智能法案》
2024年8月1日,《欧盟人工智能法案》正式生效。该立法使欧洲监管机构成为全球首个制定全面法规来规范生成式人工智能及未来人工智能发展的监管者。欧洲占据这一领先地位并不意外——早在2016年,欧盟就通过《通用数据保护条例》(GDPR)率先建立了全面的数据隐私规则体系。《人工智能法案》标志着欧盟继续以示范性法规引领全球发展。
《欧盟人工智能法案》(正式名称为《欧洲议会和理事会关于制定人工智能统一规则(人工智能法案)并修订某些欧盟立法法案的条例》)最初于2021年提出。
本法的规则旨在:
- 针对人工智能应用所特有的风险采取应对措施;
- 提出一份高风险应用程序清单;
- 为高风险应用的人工智能系统设定明确要求;
- 为人工智能用户和高风险应用程序提供者规定具体义务;
- 在人工智能系统投入使用或投放市场之前,提出符合性评估;
- 在该人工智能系统投放市场后实施监管;
- 在欧洲和国家层面提出治理结构方案。
欧洲议会采取基于风险的方法制定了该法规。他们定义了四个风险类别,并采用如下所示的金字塔模型进行说明。

这四个层次定义如下:
- 不可接受的风险——该级别 指欧盟认为对公民安全、生计及权利构成明确威胁的任何人工智能系统。典型案例包括政府实施的社会信用评分(这似乎禁止了人工智能在中国的一种常见应用)以及利用语音助手鼓励危险行为的玩具。
- 高风险——被标记为高风险的人工智能系统,是指可能在对社会至关重要的应用场景中运行的系统。这包括应用于教育准入、雇佣实践、执法、边境管控与移民、关键基础设施、教育准入等领域的人工智能,以及其他可能侵犯个人权利的情境。
- 有限风险——此 类别指具有特定透明度义务的人工智能应用。例如网站上的聊天机器人。在这种特定情况下,消费者应当意识到自己正在与软件程序或机器交互,从而能够知情地决定是否参与对话。
- 最低风险—— 也称为“零风险”,这类人工智能系统应用于电子游戏或人工智能邮件垃圾过滤器等媒介。目前在欧盟,此类系统似乎占据了人工智能应用的主体。
高风险人工智能系统在投放市场前必须遵守特定的严格规则。根据欧盟《人工智能法案》的说明,高风险系统需遵循以下规定:
- 充分的风险评估和缓解体系;
- 为系统提供高质量数据集,以最大限度降低风险和歧视性结果;
- 记录活动以确保结果可追溯性;
- 详细文件,提供系统及其用途的所有必要信息,供主管机构评估其合规性;
- 向用户提供清晰且充分的信息;
- 采取适当的人工监督措施以降低风险;
- 高水平的稳健性、安全性与准确性。
所有远程生物识别系统均被视为高风险系统。根据本法案规定,执法部门在公共场所使用远程生物识别技术(如人脸识别)进行身份识别将被禁止。
《人工智能法案》确立了审查和批准高风险人工智能应用的法律框架,旨在保护公民权利、最大限度减少算法偏见并控制人工智能的负面影响。
欧盟《人工智能法案》对第三方风险管理计划意味着什么?
位于欧盟境内或与欧盟组织开展业务的公司,必须在适用通知期结束后知悉并遵守相关法律。鉴于法律中"高风险"的定义范围广泛,向供应商和供货商提出更具体的问题以了解其人工智能使用方式及如何遵守其他相关法规,或许是明智之举。
企业还应全面审视自身的人工智能实施实践。其他欧洲技术法规依然适用,因此需要遵守《通用数据保护条例》的企业,还应探索将《人工智能法案》合规要求融入工作流程的方法。
美国人工智能治理
尽管美国目前尚未出台官方的联邦人工智能法规,但标准制定机构已通过治理框架的形式发布了详尽的指导方针,现任政府近期也发布了关于联邦政府使用人工智能的备忘录,重点关注创新、治理及公众信任。与此同时,全美多个司法管辖区已针对多种人工智能应用场景提出并颁布了相关法律。
美国国家标准与技术研究院(NIST)于2023年1月发布的《人工智能风险管理框架》(AI RMF)为组织制定人工智能治理策略提供了方法论。 遵循该总体框架,NIST于2024年7月26日发布了《NIST-AI-600-1人工智能风险管理框架:生成式人工智能专篇》。该专篇深入剖析了生成式人工智能特有的风险,并针对如何依据AI RMF管理这些风险提出了具体行动建议。
美国国家标准与技术研究院人工智能风险管理框架与第三方风险管理
美国国家标准与技术研究院(NIST)的人工智能框架为组织制定人工智能治理策略提供了指导。该风险管理框架(RMF)分为两部分:第一部分概述了NIST所称"可信赖人工智能系统"的风险与特征;第二部分阐述了帮助组织应对人工智能系统风险的四大功能:治理、映射、测量和管理。下图展示了这四大功能。
美国国家标准与技术研究院人工智能风险管理框架中的功能。
组织应遵循风险管理原则,最大限度降低人工智能系统可能带来的负面影响,例如幻觉现象、数据隐私问题以及对公民权利的威胁。此项考量同样适用于第三方人工智能系统的使用或第三方对人工智能系统的运用。第三方滥用人工智能的潜在风险包括:
- 人工智能应用程序本身存在的安全漏洞。若缺乏适当的治理机制和安全防护措施,您的组织可能面临系统或数据遭破坏的风险。
- 人工智能风险评估方法或测量手段缺乏透明度。测量与报告机制的缺陷可能导致对潜在人工智能风险影响的低估。
- 与现有其他风险管理程序不一致的人工智能安全政策。这种不一致性导致审计过程复杂且耗时,可能引发潜在的负面法律或合规后果。
根据美国国家标准与技术研究院(NIST)的说法,风险管理框架(RMF)将帮助组织克服这些潜在风险。
基于状态的人工智能治理
鉴于联邦立法缺位,许多州正着手制定人工智能相关法规。其他州(如马萨诸塞州)则明确了现行法律对人工智能开发者、供应商及使用者的适用范围。 近期颁布的州级人工智能治理法规包括:犹他州《人工智能政策法案》(2024年5月生效)、科罗拉多州《人工智能法案》(2026年2月生效),以及加利福尼亚州AB 2013号 法案和SB 942号法案(2026年1月生效)。这些法规要求人工智能系统的开发与应用过程提高透明度,强制实施清晰的消费者告知义务,并明确禁止算法歧视行为。
几个常见主题包括:
- 透明度与清晰披露:确保供应商明确披露人工智能的使用情况,并就重大的人工智能驱动决策向消费者坦诚相告。
- 公平性与非歧视性:评估供应商是否定期检测并处理算法偏见。
- 文件记录与影响评估:要求提供详细的合规文件,包括训练数据集、影响评估报告及消费者保护措施。
- 数据保护:强调供应商必须实施的安全控制措施以保护个人信息。
- 监管合规:鼓励供应商遵循公认标准(如NIST人工智能风险管理框架),以支持合规要求。
现行州法规可能适用于人工智能
2024年4月16日,马萨诸塞州总检察长明确指出,现行消费者保护法同样适用于人工智能领域。该指导文件警示业界不得对人工智能系统的功能、可靠性或安全性作出虚假宣称,并强调必须遵守隐私保护与反歧视法律。文件同时强调,当人工智能应用于信贷决策时,必须遵循《平等信贷机会法》规定的披露要求。 第三方风险管理人员应预期其他州将出现类似执法趋势,并确保供应商的人工智能工具符合法律和道德标准。
风险管理团队应核实第三方供应商是否在客户与人工智能交互时进行明确披露,定期测试其系统是否存在偏见,并遵守严格的消费者保护和数据安全规则。采用美国国家标准与技术研究院(NIST)人工智能风险管理框架等标准,有助于在这些新规下降低责任风险。
英国《人工智能监管法案》
在英国,里士满的霍姆斯勋爵提出了一项 《人工智能监管法案》在英国上议院审议这是英国议会提出的第二项旨在规范人工智能使用的法案。 初始账单, 一项同时涉及人工智能与工人权益的法案,于2022至2023立法会议临近尾声时提交至下议院,但因会议结束,该法案于2023年5月终止审议。
这项于2023年11月提出的新人工智能法案,其关注范围更为广泛。霍姆斯勋爵提出该法规旨在为人工智能发展设置防护栏,并明确未来在英国制定人工智能立法限制的责任主体。
该法案于2023年11月22日在上议院进行了一读,其主要特点包括:
- 设立人工智能管理局,其主要职责是确保英国政府在人工智能领域采取协调一致的方针。该机构还负责以前瞻性视角规划人工智能发展,并确保未来的监管框架与国际标准保持一致。
- 关键监管原则的定义,为 拟议中的人工智能监管机构可制定且应制定的法规设置了 防护栏。 根据该法案,任何实施的人工智能法规都必须遵循透明度、问责制、治理、安全、保障、公平性和可争议性原则。法案还指出,人工智能应用应遵守平等立法,在设计上具有包容性,并满足"社会经济地位较低群体、老年人及残障人士"的需求。
- 定义建立监管沙盒的必要性,使 监管机构与企业能够协同合作,有效测试人工智能的新应用。这些"沙盒"还可能为企业提供一种途径,帮助其理解并确定在英国开展业务所需的适当消费者保护措施。
- 倡导在英国开展业务的每家公司设立人工智能责任官。该职位的职责是确保公司内所有人工智能应用尽可能做到公平公正且符合伦理规范,同时确保人工智能所使用的数据保持客观性。
- 透明度、知识产权义务及标识指南规定, 使用人工智能的企业须提供用于训练其人工智能模型的所有第三方数据记录,遵守所有相关知识产权和版权法律,并明确标识其软件使用人工智能技术。该条款同时赋予消费者拒绝其数据用于训练人工智能模型的权利。
这项拟议法规仍处于谈判初期阶段。在经过上议院二读审议后,再经下议院后续审议,其最终形态可能发生重大变化。
该法案在立法程序中能保留多少内容,将对其在英国的人工智能应用方式、模型训练方法以及更广泛的数据收集过程透明度产生重大影响。这些领域都将直接影响第三方供应商或供货商对人工智能技术的使用。
《人工智能与数据法》(加拿大)
2022年6月,加拿大政府开始审议《人工智能与数据法案》(AIDA),该法案作为《2022年数字宪章实施法案》(C-27法案)的组成部分。更广泛的C-27法案旨在实现现有隐私与数字法律的现代化,包含三项子法案:《消费者隐私保护法案》、《人工智能与数据法案》以及《个人信息与数据保护法庭法案》。
《人工智能法案》的主要目标是确保加拿大全国范围内人工智能法规的一致性。该法案的配套文件中指出了若干监管漏洞,例如:
- 诸如人权委员会等机制可在歧视案件中提供补救措施。然而,遭受人工智能偏见影响的个人可能永远不会意识到这种偏见的存在。
- 鉴于人工智能系统在整个经济领域中的广泛应用,许多敏感应用场景并不属于现有行业监管机构的管辖范围。
- 为确保在各种使用场景中为加拿大人提供一致的保护,需要制定最低标准、加强协调并运用专业知识。
该法案目前正在讨论中,加拿大政府预计该法律的通过和实施将耗时约两年。在《AIDA》配套文件中提出了六项核心原则,具体如下表所示:
| 指导原则 | AIDA如何描述它 | 这对TPRM可能意味着什么 |
| 人类监督与监测 | 人类监督意味着,高影响力的AI系统必须在设计和开发过程中确保系统运营管理者能够实施有效监督。这包括根据具体情境提供适当的可解释性。
通过测量和评估高影响力的AI系统及其产出进行监控,对于支持有效的人类监督至关重要。 |
供应商和供货商必须建立可轻松量化的方法,以监控其产品和工作流程中的人工智能使用情况。
随着《人工智能监管法案》可能获得通过,各组织需要了解其第三方如何监控人工智能的使用情况,并将人工智能纳入其更广泛的治理和监督政策中。 另一种确保更彻底的人工监督和监控的方式,是将人工审核纳入报告工作流程,以检查准确性和偏见。 |
| 透明度 | 透明度意味着向公众提供关于高影响力人工智能系统如何被使用的适当信息。
所提供的信息应足以使公众了解这些系统的功能、局限性及潜在影响。 |
企业应向供应商和合作伙伴询问其人工智能应用方式及模型所包含的数据类型,同时需了解这些技术的集成方式。 |
| 公平与公正 | 公平与公正意味着在构建高影响力的人工智能系统时,需意识到其可能导致歧视性结果的潜在风险。
必须采取适当措施,以减轻对个人和群体的歧视性后果。 |
组织应了解其第三方如何控制人工智能应用中的潜在偏见。
在此可能还会产生额外影响,即新增的净ESG法规。 |
| 安全 | 安全性意味着必须对高影响力的AI系统进行主动评估,以识别系统使用过程中可能造成的危害,包括通过合理可预见的滥用方式所导致的危害。
必须采取措施减轻危害风险。 |
AIDA可能针对人工智能领域中的数据使用制定新规。
预计人工智能工具将出台新的安全要求,确保现有及潜在供应商能回答有关其人工智能使用安全性的问题——包括数据安全、资产管理、身份与访问管理等基本控制措施。 |
| 问责制 | 问责制意味着组织必须建立必要的治理机制,以确保在人工智能系统实际应用的场景中,其能够遵守所有法律义务。
这包括对已实施的政策、流程和措施的主动性记录。 |
新规出台在即,促使企业向第三方咨询如何遵守任何新出台的报告要求和指令。 |
| 有效性与稳健性 | 有效性意味着高影响力的AI系统能够持续稳定地实现预定目标。
鲁棒性意味着高影响力的AI系统在各种情况下都具有稳定性和抗干扰能力。 |
企业应就其运营中人工智能模型的有效性问题向第三方机构进行咨询,这一关切可能涉及技术供应商,并可能延伸至实体供应链领域。 |
最终,加拿大政府正认真审视如何在全国范围内规范人工智能的使用。无论如何,都将出台新的法规和法律要求。因此,随着《人工智能法案》临近通过,在加拿大开展业务或与加拿大企业合作的各公司,有必要了解即将出台的各项要求。
最终思考:人工智能监管与第三方风险管理
全球各国政府正积极探讨如何规范人工智能技术及其发展。监管讨论聚焦于被认定可能对社会层面产生最大影响的特定应用场景,这表明未来的人工智能法规将同时解决隐私、安全及ESG(环境、社会和治理)方面的关切。
我们正迅速看到全球企业如何必须调整其第三方风险管理计划以适应人工智能技术。企业正快速将人工智能融入运营体系,各国政府也将相应作出反应。在此阶段,对运营中的人工智能采取更审慎周全的策略,并向供应商提出关键问题,才是第三方风险管理者的正确选择。
欲深入了解Mitratech如何将人工智能技术融入第三方风险管理解决方案,以确保透明度、治理与安全,请立即下载白皮书《如何在第三方风险管理中驾驭人工智能的力量》,或申请产品演示。
编者按:本文最初发表于Prevalent.net。2024 年 10 月,Mitratech 收购了人工智能第三方风险管理公司 Prevalent。此后,我们对内容进行了更新,以纳入与我们的产品、监管变化和合规性相一致的信息。

