Das Gesetz der Europäischen Union über künstliche Intelligenz und seine Auswirkungen auf die TPRM

Das Europäische Parlament hat heute eine der ersten Verordnungen verabschiedet, die die Technologie der künstlichen Intelligenz (KI) und ihre Anwendungen auf der ganzen Welt regelt. Die "Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union" sorgte im Jahr 2021 für Schlagzeilen, als sie ursprünglich vorgeschlagen wurde - und das nicht nur wegen ihres langen Namens.

Nun, drei Jahre später, wurde er vom Europäischen Parlament angenommen. Das Gesetz wird voraussichtlich am Ende der Legislaturperiode im Mai 2024 in Kraft treten und 24 Monate nach seiner Veröffentlichung im Amtsblatt vollständig anwendbar sein. Diese neue Verordnung wird sich wahrscheinlich grundlegend auf Ihr Risikomanagementprogramm für Dritte auswirken, insbesondere für Unternehmen mit Sitz in anderen Ländern, die in Europa tätig werden wollen.

In diesem Blog wird das KI-Gesetz näher beleuchtet und erläutert, was es für Ihr TPRM-Programm in Zukunft bedeutet.

Was ist das EU-KI-Gesetz?

Der EU AI Act soll einen Governance- und Compliance-Rahmen für KI in der Europäischen Union bieten. Letztlich geht es darum, Leitplanken für den Einsatz von KI in der EU zu setzen und die Verantwortung von in Europa tätigen Unternehmen festzulegen, die ein KI-Tool entwickeln oder KI auf ihre bestehende Technologie anwenden wollen.

Die Vorschriften des AI-Gesetzes sind darauf ausgerichtet:

• Bewältigung von Risiken, die speziell durch KI-Anwendungen entstehen;
• Vorschlagen einer Liste mit risikoreichen Anwendungen;
• Festlegung klarer Anforderungen an KI-Systeme für risikoreiche Anwendungen;
• Festlegung spezifischer Verpflichtungen für KI-Nutzer und Anbieter von Hochrisikoanwendungen;
• eine Konformitätsbewertung vorschlagen, bevor das KI-System in Betrieb genommen oder auf den Markt gebracht wird;
• Vorschlag zur Durchsetzung der Vorschriften, nachdem ein solches KI-System auf den Markt gebracht wurde;
• Vorschlag für eine Governance-Struktur auf europäischer und nationaler Ebene.

Das Gesetz definiert spezifische Anwendungsfälle, die in Europa verboten und/oder stark reguliert sind, sobald die Verordnung in Kraft tritt. Dazu gehören:

• Biometrische Kategorisierungssysteme auf der Grundlage sensibler Merkmale
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus CCTV-Aufnahmen für Gesichtserkennungsdatenbanken
• Erkennung von Emotionen am Arbeitsplatz und in der Schule
• Soziales Scoring
• Prädiktive Polizeiarbeit basiert ausschließlich auf der Erstellung eines Profils einer Person oder der Bewertung ihrer Merkmale
• KI, die menschliches Verhalten manipuliert oder die Schwachstellen von Menschen ausnutzt

Es gibt Ausnahmeregelungen für die Nutzung biometrischer Echtzeit-Identifizierungssysteme durch die Strafverfolgungsbehörden, aber diese sind streng zeitlich und geografisch begrenzt. Die Strafverfolgungsbehörden müssen eine richterliche Genehmigung einholen, bevor sie diese Systeme einsetzen, und auch im Nachhinein, wenn sie solche biometrischen Systeme verwenden wollen.

Wie regelt das EU-KI-Gesetz die künstliche Intelligenz?

Die Europäische Union hat bei der Ausarbeitung ihrer Rechtsvorschriften einen risikobasierten Ansatz gewählt. Dabei wurden vier verschiedene Risikokategorien festgelegt, die in der nachstehenden Pyramide dargestellt sind.

Quelle: Europäische Kommission

Diese Risikokategorien werden wie folgt erläutert:

• Unannehmbares Risiko - Diese Stufe bezieht sich auf alle KI-Systeme, die nach Ansicht der EU eine eindeutige Bedrohung für die Sicherheit, den Lebensunterhalt und die Rechte der EU-Bürger darstellen.
• Hohes Risiko - KI-Systeme, die als hohes Risiko eingestuft werden, können in Anwendungsfällen eingesetzt werden, die für die Gesellschaft von entscheidender Bedeutung sind. Dazu kann KI gehören, die beim Zugang zu Bildung, bei Beschäftigungspraktiken, bei der Strafverfolgung, bei Grenzkontrollen und Einwanderung, bei kritischen Infrastrukturen, beim Zugang zu Bildung und in anderen Situationen eingesetzt wird, in denen die Rechte von Personen verletzt werden könnten. Viele dieser Systeme werden in einer EU-Datenbank registriert werden müssen.
• Begrenztes Risiko - Diese Kategorie bezieht sich auf KI-Anwendungen mit begrenzter Gesamtwirkung. Denken Sie an einen KI-Chatbot auf einer Website.
• Minimales Risiko - Auch als "kein Risiko" bezeichnet, handelt es sich um KI-Systeme, die in Medien wie Videospielen oder KI-gestützten E-Mail-Spamfiltern eingesetzt werden. Dies scheint der Großteil der KI zu sein, die heute in der EU eingesetzt wird.

Unannehmbares Risiko

KI-Anwendungen, die als unannehmbares Risiko eingestuft werden, dürfen in der gesamten Europäischen Union nicht verwendet werden. Zu diesen Arten von Systemen gehören:

• Manipulation von Menschen oder bestimmten gefährdeten Gruppen, wie die bereits erwähnten sprachgesteuerten Spielzeuge, die gefährliches Verhalten bei Kindern begünstigen.
• Soziales Scoring: Klassifizierung von Menschen aufgrund von Verhalten, sozioökonomischem Status oder persönlichen Merkmalen.
• Biometrische Identifizierung und Kategorisierung von Personen.
• Biometrische Identifikationssysteme in Echtzeit und aus der Ferne, z. B. Gesichtserkennung.

Hohes Risiko

Im Gegensatz dazu gelten für KI-Systeme mit hohem Risiko spezifische, strenge Regeln, die sie erfüllen müssen, bevor sie auf den Markt gebracht werden können. Diese Regeln zwingen Hochrisikosysteme dazu, Folgendes zu beinhalten:

• Angemessene Systeme zur Risikobewertung und -minderung;
• Hohe Qualität der Datensätze, die das System speisen, um Risiken und diskriminierende Ergebnisse zu minimieren;
• Protokollierung der Aktivitäten, um die Rückverfolgbarkeit der Ergebnisse zu gewährleisten;
• Ausführliche Dokumentation mit allen Informationen über das System und seinen Zweck, die die Behörden benötigen, um die Konformität des Systems zu beurteilen;
• Klare und angemessene Informationen für den Nutzer;
• Geeignete Maßnahmen zur menschlichen Aufsicht, um das Risiko zu minimieren;
• Ein hohes Maß an Robustheit, Sicherheit und Genauigkeit.

Mit dem KI-Gesetz wird ein rechtlicher Rahmen für die Überprüfung und Genehmigung von KI-Anwendungen mit hohem Risiko geschaffen, um die Rechte der Bürgerinnen und Bürger zu schützen, Verzerrungen in Algorithmen zu minimieren und negative Auswirkungen der KI zu kontrollieren. Ziel ist es, die KI-Entwicklung zu steuern und sicherzustellen, dass die Rechte der EU-Bürgerinnen und -Bürger geschützt werden und gleichzeitig die Entwicklung fortgesetzt werden kann.

Die EU nennt auch generative KI für allgemeine Zwecke, wie ChatGPT, die den Transparenzanforderungen entsprechen müssten:

• Offenlegung der Tatsache, dass der Inhalt durch KI generiert wurde
• Gestaltung des Modells, um zu verhindern, dass es illegale Inhalte erzeugt
• Veröffentlichung von Zusammenfassungen urheberrechtlich geschützter Daten, die für die Ausbildung verwendet wurden

Hochwirksame Allzweck-KI wie ChatGPT-4 muss einer gründlichen Bewertung unterzogen werden, und alle Zwischenfälle müssen gemeldet werden.

Begrenztes Risiko

Im Gegensatz dazu müssen Systeme mit begrenztem Risiko Transparenzanforderungen erfüllen, damit die Nutzer fundierte Entscheidungen treffen können. Ein Beispiel ist der KI-Chatbot einer Website. Die Nutzer müssen darauf hingewiesen werden, dass sie ein KI-System verwenden, und sie müssen die Möglichkeit haben, dies zu deaktivieren.

Was bedeutet das EU-KI-Gesetz für das Risikomanagement von Dritten?

Im Zusammenhang mit dem Risikomanagement von Drittanbietern bedeutet die Verabschiedung des EU-KI-Gesetzes, dass Unternehmen mit Drittanbietern und Zulieferern, die in der EU ansässig sind oder in Europa Geschäfte machen, sich der ihnen auferlegten Einschränkungen bewusst sein müssen. Ähnlich wie multinationale oder in den USA ansässige Unternehmen seit der Verabschiedung des GDPR-Gesetzes weiterhin die Datenschutzbestimmungen einhalten müssen, müssen Unternehmen, die innerhalb der Grenzen der Europäischen Union Geschäfte machen wollen, die Transparenzanforderungen des KI-Gesetzes erfüllen.

Angesichts der weit gefassten Definition des Begriffs "hohes Risiko" im Gesetz ist es sinnvoll, Anbietern und Lieferanten konkretere Fragen dazu zu stellen, wie sie KI einsetzen und wie sie die anderen einschlägigen Vorschriften einhalten. Die Bußgelder für die Nichteinhaltung der Vorschriften belaufen sich auf 7 % des weltweiten Umsatzes oder 35 Mio. Euro (ca. 38 Mio. US-Dollar), je nachdem, welcher Betrag höher ist, so dass es sich für Unternehmen lohnt, aufmerksam zu sein. Umfragen wie SIG und SIG Lite enthalten bereits KI-Inhalte in den Fragebögen für Anbieter, daher sollten Sie sicherstellen, dass Sie diese Inhalte in den Fragen, die Sie Anbietern stellen, berücksichtigen. Beachten Sie auch, wie Normungsgremien (z. B. das NIST in den USA) das KI-Risiko angehen.

Unternehmen sollten auch ihre eigenen KI-Implementierungspraktiken gründlich überprüfen. Andere europäische Technologiegesetze gelten nach wie vor, so dass Unternehmen, die die GDPR einhalten müssen, nach Möglichkeiten suchen sollten, die Einhaltung des KI-Gesetzes in ihren Arbeitsablauf zu integrieren. Dies ist besonders wichtig, da immer mehr Software-Anbieter KI in ihre Angebote integrieren.

Denken Sie daran, dass es unabhängig von den Aussagen der Regulierungsbehörden mehrere Hauptrisiken im Zusammenhang mit der KI-Nutzung gibt, darunter auch die folgenden:

• Datenqualität und Verzerrungen - KI-Algorithmen sind nur so gut wie die Daten, die sie aufnehmen und aus denen sie lernen. Eine schlechte Datenqualität kann zu fehlerhaften Risikobewertungen führen, während voreingenommene Daten eine ungerechte Behandlung von Lieferanten oder Dritten zur Folge haben können.
• Mangelnde Transparenz und mangelndes Verständnis - Der begrenzte Einblick in die Art und Weise, wie KI-Modelle zu ihren Entscheidungen kommen und welche Daten sie für ihre Ergebnisse verwenden, macht diese Algorithmen in vielen Fällen zu einer "Blackbox". Seien Sie misstrauisch gegenüber einem KI-Modell, das keine Erklärungen dafür liefert, wie es zu einer Entscheidung gekommen ist.
• Risiken für die Cybersicherheit und den Datenschutz - KI-Systeme, die sensible Risiko- und Lieferantendaten verarbeiten, werden zu attraktiven Zielen für Cyberangriffe und Datenschutzverletzungen. Es muss sichergestellt werden, dass diese Systeme sicher sind und alle geltenden Datenschutzgesetze eingehalten werden.
• Unzulänglichkeiten bei der Zusammenarbeit zwischen Mensch und KI und bei der Überwachung - Ein übermäßiges Vertrauen in die KI ohne menschliche Überwachung kann zu Fehlern oder unbeabsichtigten Folgen führen, die möglicherweise unbemerkt bleiben - vor allem, wenn das Modell trainiert wird.
• KI-Talentknappheit und Qualifikationsdefizite - Nur wenige Menschen haben umfassende Erfahrung mit KI und maschinellen Lernmodellen. Je stärker KI in den Vordergrund rückt und in die Abläufe bei Ihnen oder Ihren Anbietern integriert wird, desto ausgeprägter wird diese Qualifikationslücke sein.

TPRM-Teams werden im Vorfeld des Inkrafttretens des KI-Gesetzes im Jahr 2026 viel zu tun haben. Die Sicherstellung, dass Anbieter die Transparenzgesetze in Bezug auf die Einbeziehung von KI in ihre Angebote einhalten, ist ein guter erster Schritt, aber in den nächsten Monaten werden sicherlich weitere Leitlinien zur Einhaltung der Vorschriften herauskommen.

Nächste Schritte: Lernen Sie, AI sicher zu nutzen und zu managen

Unternehmen integrieren KI schnell in ihre Abläufe, und die Regierungen reagieren darauf. Für Risikomanager von Drittanbietern ist es klug, einen vorsichtigeren und rücksichtsvolleren Ansatz für KI im Betrieb zu wählen und Fragen an Anbieter und Lieferanten zu stellen.

Wenn Sie mehr darüber erfahren möchten, wie Prevalent KI-Technologien in unsere Plattform für das Risikomanagement von Drittanbietern integriert, um Transparenz, Governance und Sicherheit zu gewährleisten, laden Sie das Whitepaper How to Harness the Power of AI in Third-Party Risk Management herunter oder fordern Sie noch heute eine Demonstration an.

 

---

Anmerkung der Redaktion: Dieser Beitrag wurde ursprünglich auf Prevalent.net veröffentlicht. Im Oktober 2024 übernahm Mitratech das KI-gestützte Risikomanagement für Dritte, Prevalent. Der Inhalt wurde seitdem aktualisiert und enthält nun Informationen, die auf unser Produktangebot, regulatorische Änderungen und Compliance abgestimmt sind.