Hoy en día, la mayoría de las organizaciones están explorando el uso de tecnologías emergentes basadas en la inteligencia artificial para mejorar sus flujos de trabajo y procesos, analizar y resumir datos, y generar contenido más rápido que nunca. Es posible que usted y sus compañeros de trabajo ya estén utilizando herramientas y marcos de inteligencia artificial para actividades como realizar investigaciones, generar contenido y resolver retos de codificación.
Sin embargo, es importante moderar el entusiasmo de su organización por la IA con la orientación y las restricciones adecuadas. Una prohibición total de las tecnologías de IA podría socavar las necesidades y los objetivos empresariales, por lo que ¿cómo se puede estar atento a la protección de los datos confidenciales y garantizar que el contenido generado sea preciso? La solución comienza con el desarrollo de una política de seguridad de IA.
Una política de seguridad sólida en materia de IA permitirá a sus organizaciones aprovechar las ventajas de la IA, al tiempo que establece las evaluaciones de riesgos y los controles de seguridad necesarios para proteger los datos confidenciales y garantizar la exactitud del contenido. Al mismo tiempo, es esencial garantizar que sus proveedores, distribuidores y otros terceros dispongan de controles de seguridad que puedan proteger suficientemente sus sistemas y datos críticos.
En esta publicación, examino las políticas de seguridad de la IA; analizo cómo se pueden aplicar las políticas de seguridad de la IA a terceros; y comparto preguntas clave para evaluar los controles de seguridad de la IA de sus proveedores y distribuidores.
¿Qué es una política de seguridad de IA?
Una política de seguridad de IA es un conjunto de directrices para evaluar y utilizar herramientas y marcos de inteligencia artificial de manera que se maximice la información, el control y la protección de datos. También describe las vulnerabilidades de la IA y presenta medidas para mitigar sus riesgos potenciales.
Con una política de seguridad de IA bien diseñada, una organización puede salvaguardar la seguridad y la integridad de sus sistemas de IA y de cualquier dato gestionado por la inteligencia artificial. Las políticas de IA suelen incluir disposiciones relativas a:
- Protección de datos confidenciales mediante cifrado y controles de acceso.
- Garantizar el acceso de usuarios autorizados mediante mecanismos de autenticación y autorización.
- Mantener la seguridad de la red mediante cortafuegos, sistemas de detección de intrusiones y otras herramientas.
Una política de seguridad de IA suele ser una extensión de la política general de seguridad de la información de una organización y los controles asociados, con algunos conceptos comunes en materia de protección de datos, privacidad y precisión.
¿Cuáles son los componentes de una política de seguridad de IA?
Políticas de evaluación de herramientas
Estas políticas especifican los flujos de trabajo y los procedimientos que deben seguir los equipos de seguridad que necesitan evaluar las herramientas de IA para su uso en sus organizaciones. Describen los niveles de protección de datos requeridos para diferentes tipos de servicios e indican los procedimientos para revisar cómo se pueden utilizar los datos confidenciales como entradas de entrenamiento de IA y/o aparecer en contenido generado por IA.
Políticas sobre código fuente
Las políticas sobre código fuente hacen hincapié en las prácticas de desarrollo seguro (por ejemplo, cumplir con los estándares de codificación, realizar revisiones periódicas del código) y especifican mecanismos de supervisión y registro para realizar un seguimiento del comportamiento del sistema y detectar anomalías. Estas políticas suelen exigir a la organización que realice un seguimiento del uso del código fuente como entrada para las herramientas de IA, así como del uso de cualquier código generado por la IA.
Políticas de respuesta ante incidentes
Las políticas de respuesta ante incidentes describen los protocolos para gestionar las infracciones de seguridad y hacen hincapié en el cumplimiento de las normas y regulaciones del sector que exigen dichos protocolos.
Políticas de retención de datos y privacidad
Las políticas de retención de datos garantizan que los datos introducidos en las herramientas y servicios de IA se eliminen en un plazo aceptable. También deben evaluarse las consideraciones relativas a la privacidad, ya que algunas regiones han prohibido temporalmente el uso de herramientas de IA generativa debido a la preocupación que suscita la recopilación y el uso de datos personales.
Políticas éticas
Las consideraciones éticas y la formación en materia de concienciación se incluyen en las políticas de seguridad de la IA para abordar los sesgos, garantizar la rendición de cuentas y fomentar una cultura de seguridad. Por ejemplo, pueden exigir a los usuarios de IA generativa que revisen y editen el contenido creado para comprobar su exactitud, sesgos y contenido ofensivo.
Reconocimiento de las alucinaciones de la IA y riesgos similares
Las políticas de seguridad de la IA deben reconocer que se sabe que las herramientas de IA producen resultados incorrectos, sesgados u ofensivos. Son especialmente preocupantes las «alucinaciones de la IA», que se producen cuando las herramientas de IA generativa crean contenidos inesperados, falsos o que no están respaldados por pruebas y datos del mundo real. Las herramientas de IA también tienden a tener un conocimiento limitado de los acontecimientos recientes del mundo real, lo que puede dar lugar a más inexactitudes y omisiones en los contenidos generados.
¿Cómo se aplican las políticas de seguridad de IA a terceros?
Su política de seguridad de IA debe incluir normas para evaluar, mitigar y supervisar los riesgos de todas las soluciones de IA que procesan o generan datos para su organización, incluidas las proporcionadas y/o utilizadas por sus proveedores externos, proveedores y prestadores de servicios. Es fundamental garantizar que las herramientas y los servicios de terceros protejan los datos confidenciales, limpien las entradas para eliminar la información confidencial y sigan otros controles de seguridad necesarios.
Hay tres formas principales de aprovechar las políticas de seguridad de IA en su programa de gestión de riesgos de terceros (TPRM): diligencia debida previa al contrato, contratación de proveedores y evaluación de proveedores.
Diligencia debida previa al contrato
Su política de seguridad de IA debe guiar el proceso de diligencia debida a la hora de evaluar a los posibles proveedores y distribuidores. Al consultar la política, su organización puede evaluar de forma sistemática los controles de seguridad, los mecanismos de protección de datos y los protocolos de acceso de un proveedor. Esto minimiza las posibles vulnerabilidades al garantizar que las partes externas cumplan los mismos criterios de seguridad rigurosos que se aplican a sus sistemas internos.
Contratación de proveedores
Los acuerdos contractuales con proveedores y distribuidores pueden basarse en las disposiciones de la política de seguridad de la IA. Al incorporar las directrices de la política en los acuerdos, su organización establece expectativas claras en cuanto a los requisitos de seguridad, las prácticas de tratamiento de datos y los procedimientos de respuesta ante incidentes. Esta armonización garantiza que las soluciones o servicios de IA proporcionados por los proveedores cumplan las normas de seguridad de la organización, lo que contribuye a un ecosistema de IA más seguro y resistente.
Evaluación de proveedores
Cuando se utiliza como parte de las evaluaciones de proveedores, su política de seguridad de IA puede servir como punto de referencia para evaluar sus prácticas de seguridad en comparación con los estándares definidos por su organización. Esto también garantiza la coherencia a la hora de establecer expectativas de seguridad en todo su ecosistema de proveedores.
En general, una política de seguridad de IA actúa como un marco integral para evaluar y alinear las prácticas de seguridad de los proveedores y distribuidores con los objetivos estratégicos de IA de su organización.
Evaluación de los controles de seguridad de la IA: 16 preguntas que debe hacer a sus terceros
Las amenazas ocultas pueden acechar en los proveedores de IA externos, lo que plantea riesgos que pueden no ser evidentes de inmediato. Estas amenazas abarcan vulnerabilidades de seguridad, posibles violaciones de datos, código malicioso encubierto, uso indebido de datos y sesgos en los algoritmos, cada uno de los cuales podría comprometer los datos, la reputación y las operaciones de su organización.
Para contrarrestar estos riesgos, su organización debe realizar evaluaciones diligentes de sus proveedores externos. Esta diligencia debida debe evaluar las medidas de seguridad, las prácticas de protección de datos y la transparencia algorítmica. La supervisión continua, los acuerdos contractuales sólidos y la planificación de contingencias también son fundamentales para revelar y mitigar las amenazas ocultas de la IA.
En diciembre de 2021, Microsoft lanzó un marco de evaluación de riesgos de seguridad de la IA para ayudar a las organizaciones a auditar, supervisar y mejorar la seguridad de los sistemas de IA. Prevalent se basó en este marco para crear una encuesta de 16 preguntas que puede utilizar para evaluar los controles de seguridad de la IA empleados por sus proveedores y distribuidores.
Utilice esta evaluación de seguridad de IA de terceros para:
- Recopile información sobre el estado de la seguridad de la IA en todo su ecosistema de proveedores.
- Realizar un análisis de deficiencias y elaborar una hoja de ruta para trabajar con los proveedores con el fin de mitigar los riesgos.
- Realizar evaluaciones periódicas y repetidas para hacer un seguimiento del progreso de la remediación a lo largo del tiempo.
| Preguntas | Respuestas posibles |
|---|---|
| 1. ¿Los datos recopilados para los sistemas de IA proceden de fuentes fiables? | Seleccione una opción: a) Sí, la organización garantiza que los datos recopilados proceden únicamente de fuentes fiables. b) Los datos recopilados no proceden exclusivamente de fuentes fiables. c) No aplicable. |
| 2. ¿Se ha desarrollado una política de datos que incluya la privacidad y la protección de los tipos de datos sensibles? | Seleccione todas las opciones que correspondan: a) Se ha establecido una política formal sobre datos. b) La política de datos se comunica y se pone a disposición de todo el personal involucrado en el uso o la creación de sistemas de IA. c) Los datos se clasifican utilizando etiquetas de clasificación de datos. d) Ninguna de las anteriores. |
| 3. ¿Garantiza la organización el almacenamiento seguro de los datos en función de su clasificación? | Seleccione todas las opciones que correspondan: a) La organización utiliza un almacenamiento seguro, basado en un proceso definido de clasificación de datos. b) Los datos utilizados en los sistemas de IA se clasifican y protegen según una política de clasificación definida. c) Se audita el acceso a los datos y se exige la aprobación formal de las solicitudes de acceso de los usuarios. d) Los conjuntos de datos están controlados por versiones y siguen procesos de control de cambios definidos. e) Ninguna de las anteriores. |
| 4. ¿Se realiza un seguimiento y una verificación adecuados de los conjuntos de datos mediante hash criptográfico antes de su uso? | Seleccione todas las opciones que correspondan: a) La organización aplica un control de acceso basado en roles para los conjuntos de datos. b) Se realizan auditorías de acceso de forma periódica. c) Se implementan medidas para garantizar que ningún proveedor de recursos externo ni terceros puedan acceder a los activos de datos de prueba. d) Ninguna de las anteriores. |
| 5. ¿Cómo garantiza la organización la integridad de los datos a lo largo del ciclo de vida de un sistema de IA? | Seleccione todas las opciones que correspondan: a) Se aplica una identificación única a los conjuntos de datos. b) Se utiliza una ubicación central para realizar un seguimiento de los conjuntos de datos y sus descripciones criptográficas. c) El acceso a los conjuntos de datos se audita periódicamente. d) los cambios realizados en los conjuntos de datos se someten a la aprobación de la dirección antes de su presentación. e) Ninguna de las anteriores. |
| 6. ¿Son seguras las canalizaciones de procesamiento de datos? | Seleccione una opción: a) Sí, la organización toma medidas para garantizar la seguridad de sus sistemas de procesamiento de datos. b) No, la organización no toma medidas para garantizar la seguridad de sus sistemas de procesamiento de datos. c) No aplicable. |
| 7. ¿La organización protege los subconjuntos de datos de la misma manera que los conjuntos de datos? | Seleccione una opción: a) Sí, la organización aplica el mismo nivel de seguridad y procesos de categorización de datos para los subconjuntos de datos. b) No, la organización no aplica el mismo nivel de seguridad y procesos de categorización de datos para los subconjuntos de datos. c) No aplicable. |
| 8. ¿Revisa la organización su código modelo de formación en un entorno adecuado? | Seleccione una opción: a) Sí, la organización revisa y gestiona el código modelo en entornos seguros y dedicados, alejados de la producción. b) El código modelo no se revisa formalmente en entornos específicos alejados de la producción. c) No aplicable. |
| 9. ¿El entrenamiento del modelo utilizado en el sistema de IA se lleva a cabo en las mismas condiciones que se darían en la implementación? | Seleccione una opción: a) Sí, la organización garantiza que el entrenamiento del modelo se realice en las mismas condiciones que en la fase de implementación. b) La organización no imparte formación sobre el modelo en las mismas condiciones que en la fase de despliegue. c) No aplicable. |
| 10. ¿El diseño del modelo y el algoritmo de entrenamiento incluyen una regularización explícita o implícita del modelo? | Seleccione una opción: a) Sí, se garantiza la regularización para el diseño del modelo y los algoritmos de entrenamiento. b) No, la regularización no está garantizada para el diseño del modelo y los algoritmos de entrenamiento. c) No aplicable. |
| 11. ¿Se vuelven a entrenar continuamente los modelos a medida que llegan nuevos datos de entrenamiento a los procesos de entrenamiento? | Seleccione una opción: a) Sí, la organización ha establecido un programa de reciclaje continuo para probar y validar los nuevos datos de formación. b) No, la organización no ha establecido un programa de reciclaje continuo para probar y validar los nuevos datos de formación. c) No aplicable. |
| 12. ¿Cómo protege la organización sus sistemas de IA antes de su implementación? | Seleccione una opción: a) Se han definido y documentado criterios formales de pruebas de aceptación para los nuevos sistemas de IA, las actualizaciones y las nuevas versiones. b) Los nuevos sistemas de IA, las actualizaciones o las nuevas versiones se implementan tras realizar pruebas formales. c) La organización utiliza herramientas automatizadas para probar los sistemas de información, las actualizaciones o las nuevas versiones. d) Los entornos de prueba se asemejan mucho al entorno de producción final. e) Se documenta la frecuencia, el alcance y los métodos de las revisiones de seguridad independientes. f) Ninguna de las anteriores. |
| 13. ¿Cómo protege y gestiona la organización la red subyacente en la que reside el sistema de IA? | Seleccione una opción: a) Los dispositivos de puerta de enlace deben filtrar el tráfico entre dominios y bloquear el acceso no autorizado. b) Las directrices de configuración segura están documentadas y se revisan periódicamente. c) Las redes están segregadas, de acuerdo con una política de control de acceso definida. d) Se establecen requisitos para segregar y restringir el uso de sistemas de acceso público, redes internas y activos críticos. e) Ninguna de las anteriores. |
| 14. ¿Cómo registra y supervisa la organización sus sistemas de IA y la infraestructura de apoyo? | Seleccione una opción: a) La organización cuenta con un sistema de registro de eventos (por ejemplo, una solución SIEM) para supervisar los registros de eventos y de seguridad. b) Los registros de eventos y seguridad se revisan periódicamente para detectar comportamientos anormales. c) Se elaboran y revisan informes y alertas consolidados sobre la actividad del sistema. d) El registro y la supervisión incluyen el almacenamiento, las tuberías y los servidores de producción. e) Ninguna de las anteriores. |
| 15. ¿Cómo identifica y gestiona la organización los incidentes de seguridad relacionados con los sistemas de IA o que afectan a estos? | Seleccione una opción: a) Se establece un proceso formal para informar sobre incidentes relacionados con los sistemas de IA. c) Se han establecido procedimientos formales de respuesta ante incidentes y de escalamiento. d) Los procedimientos de respuesta ante incidentes se prueban periódicamente. e) Ninguna de las anteriores |
| 16. ¿Cuenta la organización con procesos para garantizar que los sistemas de IA puedan repararse y recuperarse tras un incidente? | Seleccione una opción: a) Se identifican y registran los activos críticos de IA. b) La organización ha desarrollado un plan formal de continuidad del negocio. c) Las evaluaciones de impacto incluyen la planificación del impacto que tendría la pérdida de sistemas críticos de IA debido a ataques. d) Se realizan pruebas de continuidad del negocio, que se llevan a cabo de forma periódica para los sistemas críticos de IA. e) Ninguna de las anteriores. Próximos pasos para gestionar los riesgos de la IA de terceros |
Utilice el cuestionario anterior como punto de partida para descubrir los riesgos de los sistemas de IA empleados por sus proveedores y distribuidores. Al identificar y gestionar de forma proactiva los riesgos de IA de terceros, puede proteger los sistemas y datos de su organización, al tiempo que evita posibles problemas relacionados con la equidad, la transparencia y la responsabilidad. Las evaluaciones de riesgos de IA de terceros no solo protegen sus operaciones, sino que también ayudan en la toma de decisiones éticas, la selección de proveedores y las relaciones a largo plazo con los socios.
Para obtener más información sobre cómo Prevalent puede ayudar a su organización a evaluar la seguridad de la IA de los proveedores y distribuidores en el contexto del riesgo general de terceros, solicite una demostración
hoy mismo.
Nota del editor: Este artículo se publicó originalmente en Prevalent.net. En octubre de 2024, Mitratech adquirió la empresa de gestión de riesgos de terceros basada en IA, Prevalent. El contenido ha sido actualizado desde entonces para incluir información alineada con nuestra oferta de productos, cambios regulatorios y cumplimiento.
