今日，欧洲议会通过了全球首批规范人工智能（AI）技术及其应用的法规之一。欧盟《欧洲议会和理事会关于制定人工智能统一规则（人工智能法案）并修订某些欧盟立法法案的条例》在2021年首次提出时便引发轰动——其轰动效应不仅源于冗长的名称。
如今，三年后，该法案已在欧洲议会获得批准。预计该法案将于2024年5月立法会议结束时生效，并在官方公报公布后24个月内全面适用。这项新法规很可能对贵公司的第三方风险管理计划产生变革性影响，特别是对于希望在欧洲开展业务的其他国家企业而言。
本博客深入剖析了《人工智能法案》，并就该法案对您未来TPRM计划的意义提供背景说明。
什么是欧盟《人工智能法案》？
欧盟《人工智能法案》旨在为欧盟境内的人工智能提供治理与合规框架。其最终目标是为人工智能在欧盟境内的应用方式设定防护措施，并明确在欧洲开展业务的企业在开发人工智能工具或将其应用于现有技术时应承担的责任。
《人工智能法案》中的规则旨在：
- 针对人工智能应用所特有的风险采取应对措施；
- 提出一份高风险应用程序清单；
- 为高风险应用的人工智能系统设定明确要求；
- 为人工智能用户和高风险应用程序提供者规定具体义务；
- 在人工智能系统投入使用或投放市场之前，提出符合性评估；
- 在该人工智能系统投放市场后实施监管；
- 在欧洲和国家层面提出治理结构方案。
该法案明确规定了在法规生效后，欧洲境内被禁止和/或受到严格监管的特定使用场景。这些场景包括：
- 基于敏感特征的生物特征分类系统
- 从互联网或闭路电视录像中进行非定向抓取人脸图像以构建人脸识别数据库
- 工作场所与学校中的情绪识别
- 社会评分
- 预测性警务完全基于对个人的特征分析或评估其特征。
- 操纵人类行为或利用人们弱点的AI
执法部门使用实时生物识别识别技术存在例外情况，但这些例外均严格限定在特定时间和地域范围内。执法部门在使用此类系统前需获得司法授权，事后若需使用此类生物识别系统同样需要司法许可。
欧盟《人工智能法案》如何规范人工智能？
欧盟在制定法规时采取了基于风险的方法。具体表现为划分出四个不同的风险类别，如下图金字塔所示。
来源：欧洲委员会
这些风险类别解释如下：
- 不可接受的风险—— 此级别指欧盟认为对欧盟公民的安全、生计和权利构成明确威胁的任何人工智能系统。
- 高风险——被标记为高风险的人工智能系统，是指可能在对社会至关重要的应用场景中运行的系统。这包括用于教育准入、雇佣实践、执法、边境管控与移民、关键基础设施、教育准入等领域的人工智能，以及其他可能侵犯个人权利的情境。此类系统中的多数都必须在欧盟数据库中进行注册。
- 有限风险——此 类别指整体影响有限的人工智能应用。例如网站上的AI聊天机器人。
- 最低风险—— 也称为“无风险”，这类人工智能系统应用于电子游戏或人工智能邮件垃圾过滤器等媒介。目前欧盟境内使用的人工智能系统中，此类系统似乎占据绝大多数。
不可接受的风险
被定义为不可接受风险的人工智能应用程序在整个欧盟范围内禁止使用。此类系统包括：
- 操纵人们或特定弱势群体，例如前文提及的语音激活玩具，会诱导儿童产生危险行为。
- 社会评分：根据行为、社会经济地位或个人特征对人进行分类。
- 生物特征识别人群并进行分类。
- 实时和远程生物识别识别系统，例如面部识别。
高风险
相比之下，高风险人工智能系统必须遵守特定且严格的规则才能进入市场。这些规则强制要求高风险系统必须包含：
- 充分的风险评估和缓解体系；
- 为系统提供高质量数据集，以最大限度降低风险和歧视性结果；
- 记录活动以确保结果可追溯性；
- 详细文件，提供系统及其用途的所有必要信息，供主管机构评估其合规性；
- 向用户提供清晰且充分的信息；
- 采取适当的人工监督措施以降低风险；
- 高水平的稳健性、安全性与准确性。
《人工智能法案》为审查和批准高风险人工智能应用建立了法律框架，旨在保护公民权利、最大限度减少算法偏见并控制人工智能的负面影响。其目标是将治理机制应用于人工智能发展，在保障欧盟公民权利的同时推动技术持续进步。
欧盟还指出，诸如ChatGPT等通用生成式人工智能也需遵守透明度要求：
- 声明该内容由人工智能生成
- 设计模型以防止其生成非法内容
- 发布用于训练的受版权保护数据摘要
像ChatGPT-4这样具有重大影响力的通用人工智能，需要经过全面评估，任何事件都必须上报。
有限风险
与此相对的是有限风险系统，这类系统需要遵守透明度要求，以便用户做出知情决策。例如网站的人工智能聊天机器人，必须让用户知晓其正在使用人工智能系统，并提供退出使用的选择权。
欧盟《人工智能法案》对第三方风险管理意味着什么？
在第三方风险管理的背景下，欧盟《人工智能法案》的通过意味着，拥有欧盟境内第三方供应商的企业，或在欧洲开展业务的企业，必须了解自身面临的限制。 正如跨国企业或美国企业自该法规颁布以来必须持续遵守《通用数据保护条例》(GDPR)的数据隐私规定，希望在欧盟境内开展业务的企业也必须遵守《人工智能法案》中的透明度要求。
鉴于法律中"高风险"的定义较为宽泛，向供应商和合作伙伴提出更具体的问题以了解其人工智能应用方式及相关法规遵循情况是明智之举。违规罚款将按全球营业额的7%或3500万欧元（约合3800万美元）计算，以较高者为准，因此企业务必重视此事。SIG和SIG Lite等调查问卷已将人工智能内容纳入供应商问卷，因此确保在向供应商提问时包含相关内容至关重要。同时需参考标准制定机构（如美国NIST）对人工智能风险的处理方式。
企业还应全面审视自身的人工智能实施实践。其他欧洲技术法规依然适用，因此需要遵守《通用数据保护条例》的企业应探索将《人工智能法案》合规要求融入工作流程的方法。随着越来越多的软件供应商将人工智能整合到其产品中，这一点尤为关键。
请注意，无论监管机构如何表态，人工智能的使用都存在若干关键风险，包括：
- 数据质量与 偏见——人工智能算法的优劣取决于其摄取和学习的数据质量。劣质数据可能导致风险评估失误，而存在偏见的数据则会加剧对供应商或第三方的不公平对待。
- 缺乏透明度与可理解性 ——由于难以洞悉人工智能模型如何得出决策及其所依据的数据来源，这些算法在许多情况下仍属"黑箱"。对于无法解释决策过程的人工智能模型，务必保持警惕。
- 网络安全与数据隐私风险—— 处理敏感风险和供应商数据的人工智能系统， 正成为网络攻击和数据泄露的诱人目标。确保这些系统安全可靠并遵守所有适用的隐私法规至关重要。
- 人机 协作与监督机制的缺陷 ——过度依赖人工智能而缺乏人类监督，可能导致错误或未预见的后果，这些问题往往难以察觉——尤其在模型训练阶段。
- 人工智能人才短缺与技能缺口——具备人工智能和机器学习模型丰富经验者寥寥无几。随着人工智能日益凸显并融入您或供应商的运营体系，这种技能缺口将日益凸显。
在《人工智能法案》2026年生效前夕，TPRM团队将面临艰巨任务。确保供应商在产品中纳入人工智能时遵守透明度法规是良好开端，但未来数月必将出台更多合规指导方针。
下一步行动：学习如何安全地利用和管理人工智能
企业正迅速将人工智能融入运营体系，各国政府也随之作出回应。对于第三方风险管理者而言，在运营中采取更审慎周全的人工智能应用策略，并对供应商提出关键质询，才是明智之选。
欲深入了解Prevalent如何将人工智能技术融入第三方风险管理平台，以确保透明度、治理与安全性，请立即下载白皮书《如何在第三方风险管理中驾驭人工智能的力量》，或申请产品演示。
编者按：本文最初发表于Prevalent.net。2024 年 10 月，Mitratech 收购了人工智能第三方风险管理公司 Prevalent。此后，我们对内容进行了更新，以纳入与我们的产品、监管变化和合规性相一致的信息。
