Hoy, el Parlamento Europeo ha aprobado una de las primeras normativas que regulan la tecnología de inteligencia artificial (IA) y sus aplicaciones en todo el mundo. El«Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas sobre inteligencia artificial (Ley de Inteligencia Artificial) y se modifican determinados actos legislativos de la Unión»de la Unión Europea fue noticia en 2021 cuando se propuso originalmente,y no solo por su largo nombre.
Ahora, tres años después, ha sido aprobada en el Parlamento Europeo. Se espera que la ley entre en vigor al final de la sesión legislativa en mayo de 2024 y que sea plenamente aplicable 24 meses después de su publicación en el boletín oficial. Es probable que esta nueva normativa tenga un impacto transformador en su programa de gestión de riesgos de terceros, especialmente para las empresas con sede en otros países que deseen hacer negocios en Europa.
Este blog analiza en profundidad la Ley de IA y ofrece información contextual sobre lo que significa para el futuro de su programa de TPRM.
¿Qué es la Ley de IA de la UE?
La Ley de IA de la UE está diseñada para ofrecer un marco de gobernanza y cumplimiento para la IA dentro de la Unión Europea. En última instancia, el objetivo es establecer límites sobre cómo se puede utilizar la IA en la UE y cuál es la responsabilidad de las empresas que operan en Europa y desean crear una herramienta de IA o aplicar la IA a su tecnología existente.
Las normas de la Ley de IA están diseñadas para:
- Abordar los riesgos específicos creados por las aplicaciones de IA.
- Proponer una lista de aplicaciones de alto riesgo.
- Establecer requisitos claros para los sistemas de IA destinados a aplicaciones de alto riesgo.
- Definir obligaciones específicas para los usuarios de IA y los proveedores de aplicaciones de alto riesgo.
- Proponer una evaluación de conformidad antes de que el sistema de IA se ponga en servicio o se comercialice.
- Proponer la aplicación de la ley después de que dicho sistema de IA se haya comercializado.
- Proponer una estructura de gobernanza a nivel europeo y nacional.
La ley define casos de uso específicos que están prohibidos y/o altamente regulados en Europa una vez que la normativa entre en vigor. Entre ellos se incluyen:
- Sistemas de categorización biométrica basados en características sensibles
- Recopilación indiscriminada de imágenes faciales de Internet o de grabaciones de cámaras de seguridad para bases de datos de reconocimiento facial.
- Reconocimiento de emociones en lugares de trabajo y escuelas
- Puntuación social
- La policía predictiva se basa únicamente en la elaboración de perfiles de personas o en la evaluación de sus características.
- IA que manipula el comportamiento humano o se aprovecha de las vulnerabilidades de las personas.
Existen excepciones para el uso de la identificación biométrica en tiempo real por parte de las fuerzas del orden, pero estas están estrictamente limitadas en el tiempo y en el ámbito geográfico. Las fuerzas del orden deben obtener autorización judicial antes de utilizar estos sistemas, y también cuando deseen utilizarlos a posteriori.
¿Cómo regula la inteligencia artificial la Ley de IA de la UE?
La Unión Europea adoptó un enfoque basado en el riesgo para elaborar su legislación. Esto se tradujo en la definición de cuatro categorías distintas de riesgo, tal y como se describe en la pirámide que figura a continuación.
Fuente: Comisión Europea
Estas categorías de riesgo se explican de la siguiente manera:
- Riesgo inaceptable: este nivel se refiere a cualquier sistema de IA que la UE considere una amenaza clara para la seguridad, los medios de vida y los derechos de los ciudadanos de la UE.
- Alto riesgo: los sistemas de IA marcados como de alto riesgo son aquellos que pueden operar en casos de uso que son cruciales para la sociedad. Esto puede incluir la IA utilizada en el acceso a la educación, las prácticas laborales, la aplicación de la ley, el control fronterizo y la inmigración, las infraestructuras críticas, el acceso a la educación y otras situaciones en las que se puedan vulnerar los derechos de las personas. Muchos de estos sistemas tendrán que registrarse en una base de datos de la UE.
- Riesgo limitado: esta categoría se refiere a aplicaciones de IA con un impacto general limitado. Piensa, por ejemplo, en un chatbot de IA en un sitio web.
- Riesgo mínimo: también denominados «sin riesgo», son sistemas de IA utilizados en medios como videojuegos o filtros de correo electrónico no deseado habilitados para IA. Parece ser la mayor parte de la IA que se utiliza actualmente en la UE.
Riesgo inaceptable
Las aplicaciones de IA definidas como riesgo inaceptable están prohibidas en toda la Unión Europea. Este tipo de sistemas incluyen:
- Manipulación de personas o grupos vulnerables específicos, como los juguetes activados por voz mencionados anteriormente, que fomentan comportamientos peligrosos en los niños.
- Puntuación social: clasificación de las personas en función de su comportamiento, su situación socioeconómica o sus características personales.
- Identificación biométrica y categorización de personas.
- Sistemas de identificación biométrica en tiempo real y remotos, como el reconocimiento facial.
Alto riesgo
Por el contrario, los sistemas de IA de alto riesgo tienen normas específicas y estrictas que deben cumplir antes de poder salir al mercado. Estas normas obligan a los sistemas de alto riesgo a incluir:
- Sistemas adecuados de evaluación y mitigación de riesgos;
- Alta calidad de los conjuntos de datos que alimentan el sistema para minimizar los riesgos y los resultados discriminatorios.
- Registro de la actividad para garantizar la trazabilidad de los resultados.
- Documentación detallada que proporcione toda la información necesaria sobre el sistema y su finalidad para que las autoridades puedan evaluar su conformidad.
- Información clara y adecuada para el usuario;
- Medidas adecuadas de supervisión humana para minimizar el riesgo.
- Alto nivel de solidez, seguridad y precisión.
La Ley de IA establece un marco jurídico para revisar y aprobar aplicaciones de IA de alto riesgo, con el objetivo de proteger los derechos de los ciudadanos, minimizar los sesgos en los algoritmos y controlar los impactos negativos de la IA. El objetivo es aplicar la gobernanza al desarrollo de la IA y garantizar la protección de los derechos de los ciudadanos de la UE, al tiempo que se permite que el desarrollo continúe.
La UE también menciona la IA generativa de uso general, como ChatGPT, que tendría que cumplir con los requisitos de transparencia:
- Revelar que el contenido fue generado por IA.
- Diseñar el modelo para evitar que genere contenido ilegal.
- Publicación de resúmenes de datos protegidos por derechos de autor utilizados para la formación.
Las IA de uso general y alto impacto, como ChatGPT-4, deben someterse a una evaluación exhaustiva y cualquier incidente debe ser notificado.
Riesgo limitado
Contrasta esto con los sistemas de riesgo limitado, que deben cumplir con requisitos de transparencia que permitan a los usuarios tomar decisiones informadas. Un ejemplo es el chatbot con IA de un sitio web. Los usuarios deben saber que están utilizando un sistema de IA y tener la oportunidad de optar por no hacerlo.
¿Qué implica la Ley de IA de la UE para la gestión de riesgos de terceros?
En el contexto de la gestión de riesgos de terceros, la aprobación de la Ley de IA de la UE significa que las empresas con proveedores y distribuidores externos ubicados en la UE o aquellas que operan en Europa deben ser conscientes de las restricciones que se les imponen. Al igual que las empresas multinacionales o con sede en Estados Unidos deben seguir cumpliendo con la normativa del RGPD sobre privacidad de datos desde que se aprobó dicha ley, las empresas que deseen operar dentro de las fronteras de la Unión Europea deben cumplir con los requisitos de transparencia de la Ley de IA.
Dada la amplia definición de «alto riesgo» en la ley, tendrá sentido hacer preguntas más concretas a los proveedores y distribuidores sobre cómo utilizan la IA y cómo cumplen con las demás normativas pertinentes. Las multas por incumplimiento son del 7 % de los ingresos globales o 35 millones de euros (unos 38 millones de dólares), lo que sea mayor, por lo que conviene que las organizaciones presten atención. Encuestas como SIG y SIG Lite ya incluyen contenido sobre IA en los cuestionarios para proveedores, por lo que vale la pena asegurarse de incluir ese contenido en las preguntas que se les hacen a los proveedores. Además, hay que tener en cuenta cómo abordan el riesgo de la IA los organismos de normalización (como el NIST en Estados Unidos).
Las organizaciones también deben examinar minuciosamente sus propias prácticas de implementación de la IA. Siguen siendo de aplicación otras leyes tecnológicas europeas, por lo que las organizaciones que deban cumplir el RGPD deben estudiar formas de integrar el cumplimiento de la Ley de IA en su flujo de trabajo. Esto es especialmente importante ahora que cada vez más proveedores de software integran la IA en sus productos.
Tenga en cuenta que existen varios riesgos clave relacionados con el uso de la IA, independientemente de lo que digan los reguladores, entre ellos:
- Calidad y sesgo de los datos : los algoritmos de IA son tan buenos como los datos que ingieren y de los que aprenden. Una mala calidad de los datos puede dar lugar a evaluaciones de riesgo erróneas, mientras que los datos sesgados pueden perpetuar el trato injusto a proveedores o terceros.
- Falta de transparencia y comprensión: el conocimiento limitado sobre cómo los modelos de IA llegan a sus decisiones y qué datos utilizan para obtener sus resultados convierte a estos algoritmos en una «caja negra» en muchos casos. Desconfíe de los modelos de IA que no ofrecen explicaciones sobre cómo han llegado a una decisión.
- Riesgos de ciberseguridad y privacidad de datos: los sistemas de IA que gestionan datos confidenciales sobre riesgos y proveedores se convierten en objetivos atractivos para los ciberataques y las violaciones de datos. Es fundamental garantizar que estos sistemas sean seguros y cumplan todas las leyes de privacidad aplicables.
- Deficiencias en la colaboración y supervisión entre humanos y IA : la dependencia excesiva de la IA sin supervisión humana puede dar lugar a errores o consecuencias no deseadas que pueden pasar desapercibidas, especialmente mientras se entrena el modelo.
- Escasez de talento en IA y deficiencias en las habilidades: pocas personas tienen una amplia experiencia en IA y modelos de aprendizaje automático. A medida que la IA cobre mayor importancia y se integre en sus operaciones o en las de sus proveedores, esta deficiencia en las habilidades se hará cada vez más patente.
Los equipos de TPRM tendrán mucho trabajo por delante en el período previo a la entrada en vigor de la Ley de IA en 2026. Garantizar que los proveedores cumplan con las leyes de transparencia en torno a la inclusión de la IA en sus ofertas es un buen primer paso, pero es seguro que en los próximos meses se publicarán más directrices sobre el cumplimiento.
Próximos pasos: Aprender a aprovechar y gestionar la IA de forma segura
Las empresas están integrando rápidamente la IA en sus operaciones, y los gobiernos están respondiendo. Adoptar un enfoque más cauteloso y considerado con respecto a la IA en las operaciones y plantear preguntas a los proveedores y distribuidores es la opción más inteligente para los gestores de riesgos de terceros.
Para obtener más información sobre cómo Prevalent incorpora tecnologías de IA en nuestra plataforma de gestión de riesgos de terceros para garantizar la transparencia, la gobernanza y la seguridad, descargue el informe técnico «Cómo aprovechar el poder de la IA en la gestión de riesgos de terceros» o solicite una demostración hoy mismo.
Nota del editor: Este artículo se publicó originalmente en Prevalent.net. En octubre de 2024, Mitratech adquirió la empresa de gestión de riesgos de terceros basada en IA, Prevalent. El contenido ha sido actualizado desde entonces para incluir información alineada con nuestra oferta de productos, cambios regulatorios y cumplimiento.
