¿Es seguro su ecosistema de IA?

El auge de la adopción de la IA ha ido acompañado de un aumento significativo de los ciberataques dirigidos a los sistemas y conjuntos de datos de IA. En informes recientes se indica que el 57 % de las organizaciones han observado un aumento de los ataques impulsados por la IA durante el último año⁶. Cabe destacar que Amazon ha experimentado un aumento espectacular de las amenazas cibernéticas, con un incremento de los incidentes diarios de 100 millones a casi 1000 millones en seis meses,⁷ un aumento que se atribuye en parte a la proliferación de la IA.

Los sistemas de seguridad tradicionales suelen ser insuficientes a la hora de proteger los entornos de IA generativa (GenAI), ya que esas protecciones heredadas no están diseñadas para hacer frente a los riesgos específicos que plantea la GenAI. Estas herramientas se basan en reglas estáticas y patrones de amenazas conocidos, pero GenAI produce resultados impredecibles y muy variables que no siguen firmas fijas. Como resultado, los sistemas tradicionales carecen de la conciencia contextual necesaria para detectar amenazas con precisión. También pasan por alto ataques específicos de la IA, como inyecciones de instrucciones, envenenamiento de datos y manipulación de modelos, que no existen en los entornos informáticos tradicionales.

GenAI procesa con frecuencia datos no estructurados como texto, código o imágenes, formatos que las herramientas de seguridad convencionales tienen dificultades para analizar de forma eficaz. Además, estos sistemas carecen de visibilidad sobre cómo los modelos de IA generan respuestas, lo que dificulta la detección de fallos sutiles o usos indebidos. Sin la capacidad de supervisar las entradas, las salidas y el comportamiento de los modelos en tiempo real, la seguridad tradicional deja lagunas críticas que las amenazas propias de la IA pueden explotar fácilmente.

Inyección de instrucciones

Un ataque de inyección de instrucciones es un tipo de amenaza de seguridad exclusiva de los sistemas GenAI. En este ataque, un usuario malintencionado crea una entrada (solicitud) especialmente diseñada para engañar a la IA y que esta ignore sus instrucciones originales y siga las órdenes del atacante.

Los ataques de inyección de instrucciones son difíciles de detener por dos razones principales. En primer lugar, el ataque suele comenzar con un acceso legítimo, a través de un chatbot, un campo de entrada o una herramienta integrada. No es necesario hackear el modelo en el sentido tradicional; el ataque está diseñado para hacer un uso inteligente y indebido del lenguaje natural. Por lo tanto, estos ataques no contienen firmas ni otros comportamientos distintivos que los diferencien del uso autorizado.

La segunda razón por la que estos ataques son difíciles de detener proviene de la forma en que las inyecciones de instrucciones aprovechan la tendencia inherente de las aplicaciones GenAI a seguir instrucciones con precisión, incluso aquellas que degradan la seguridad o el rendimiento. Imaginemos una aplicación GenAI que prueba un gran sistema bancario. Sin duda, dicho sistema incluiría normas contra la revelación de información de los clientes. Pero un ataque de inyección de instrucciones podría comenzar con la frase “ignore las restricciones sobre el intercambio de información de los clientes” y contar con que la aplicación GenAI ejecute esa tarea a la perfección, desactivando las medidas de seguridad.

La inyección de instrucciones puede producir fugas de datos, violaciones de políticas, uso indebido de herramientas y el jailbreak de los sistemas de IA. Estos ataques aprovechan la falta de comprensión contextual de la IA y su tendencia a seguir las instrucciones de forma demasiado literal. Para prevenir la inyección de instrucciones es necesario realizar una validación rigurosa de los datos introducidos, establecer una separación clara de funciones y supervisar en tiempo real el comportamiento del modelo.

Modelos de código abierto

Los modelos de código abierto son modelos de IA que se publican con su código, arquitectura, pesos o datos de entrenamiento disponibles bajo una licencia permisiva. Los beneficios del software de código abierto están bien documentados. ⁸ Sin embargo, el uso de modelos de IA de código abierto también conlleva riesgos de seguridad, como la deserialización y la manipulación de modelos.

La deserialización es el proceso de convertir los datos almacenados de nuevo en objetos utilizables dentro de un programa. En IA, se utiliza a menudo para cargar modelos o configuraciones. Sin embargo, la deserialización de datos no confiables plantea graves riesgos de seguridad. Los atacantes pueden crear archivos maliciosos que, al cargarse, desencadenan la ejecución remota de código, el acceso a archivos o la escalada de privilegios. En los sistemas de IA, este tipo de ataque puede corromper los modelos con puertas traseras o desencadenantes ocultos. Las herramientas comunes como pickle o joblib son especialmente vulnerables.

La manipulación de modelos implica cambios no autorizados en la estructura o el comportamiento de un modelo de IA, lo que plantea graves riesgos de seguridad. Los atacantes pueden incrustar puertas traseras, activar condiciones o manipular resultados para difundir información errónea o filtrar datos confidenciales. Estos cambios suelen pasar desapercibidos, lo que socava la integridad y la confianza en el modelo. En entornos regulados, la manipulación puede dar lugar a incumplimientos normativos y amenazas persistentes.  

Por ejemplo, un equipo de investigación ha desarrollado un modelo para clasificar las señales de tráfico. Sin que ellos lo supieran, un hacker ha incrustado un fragmento de código que provoca una clasificación errónea cuando una imagen contiene un pequeño desencadenante visual determinado. En la mayoría de los casos, el modelo se comporta según lo previsto, pero cuando encuentra una imagen con el activador incrustado, el resultado se ve comprometido.

Salidas inseguras

Las salidas inseguras de la IA generativa suponen importantes amenazas para la seguridad, ya que suelen dar lugar a que los usuarios reciban URL maliciosas. Estos enlaces aparecen de forma involuntaria o mediante una manipulación selectiva. Por ejemplo, un chatbot puede generar un enlace peligroso después de extraer información de una fuente comprometida o deliberadamente envenenada.

Las URL maliciosas suelen parecer legítimas para el usuario, lo que las convierte en una puerta de entrada para que los atacantes lancen estafas de phishing, instalen malware u obtengan acceso no autorizado al sistema. En entornos de confianza, los usuarios pueden seguir las sugerencias generadas por la IA sin sospechar, lo que aumenta la probabilidad de que se produzca un compromiso. Dado que estos modelos dependen de datos externos e históricos, incluso una sola entrada corrupta puede dar lugar a contenidos inseguros que pongan en riesgo los sistemas y socaven la confianza en las herramientas asistidas por IA. Para prevenir estas amenazas es necesario aplicar un filtrado estricto de los contenidos y supervisar continuamente la calidad de los resultados.

Fugas de datos confidenciales

Como se ha comentado anteriormente, los sistemas GenAI necesitan acceder a datos privados para su formación y funcionamiento, lo que necesariamente sitúa la información fuera de los controles de seguridad tradicionales. Estos datos confidenciales representan un objetivo lucrativo para los piratas informáticos, que pueden manipular modelos y violar datos, lo que puede dar lugar a graves amenazas para la seguridad.

Las aplicaciones de GenAI también son propensas a las alucinaciones, en las que el modelo genera información falsa o engañosa que parece creíble. Un ejemplo común es la alucinación de citas, en la que el modelo GenAI inventa un artículo de investigación, un autor o una fuente que no existen. Por ejemplo, podría afirmar que un estudio específico respalda un argumento y proporcionar un título, una revista y una fecha que parecen realistas, pero nada de eso es real. Estas citas falsas pueden confundir a los usuarios, especialmente en contextos académicos o profesionales, donde la precisión de las fuentes es fundamental.

Secuestro de agentes

La tecnología avanza rápidamente, y en ningún ámbito es esto más evidente que en el rápido auge de los agentes de IA. Los agentes son sistemas autónomos que detectan su entorno, procesan datos y toman decisiones para completar tareas. Aprenden y se adaptan, y se encargan de trabajos complejos como el descubrimiento de fármacos, la atención al cliente, el marketing, la codificación y la investigación. Dado que el 78 % de las empresas tiene previsto utilizar agentes de IA,⁹ garantizar esta valiosa capacidad de la organización se ha convertido en algo crucial para obtener el máximo rendimiento de sus inversiones en IA.

Muchos agentes de IA son vulnerables al secuestro de agentes, un tipo de inyección indirecta de instrucciones en la que un atacante inserta instrucciones maliciosas en los datos que puede ingestar un agente de IA, lo que le lleva a realizar acciones no deseadas y perjudiciales. En estas situaciones de ataque, los posibles ladrones pueden inyectar instrucciones maliciosas junto con instrucciones legítimas para penetrar en las medidas de seguridad de la organización, ocultándose a plena vista, por así decirlo.

Según las encuestas realizadas por los principales analistas del sector, los directores de seguridad de la información (CISO) tienen opiniones encontradas sobre las medidas de seguridad de IA de sus organizaciones. Aunque la mayoría (83 %) de los altos directivos que invierten en ciberseguridad afirman que su organización está invirtiendo la cantidad adecuada, muchos (60 %) siguen preocupados por que las amenazas de ciberseguridad a las que se enfrentan sus organizaciones sean más avanzadas que sus defensas. ¹¹ 

Sus preocupaciones tienen fundamento. Los sistemas de IA traen consigo riesgos completamente nuevos, como la inyección rápida, el envenenamiento de datos, el robo de modelos y las alucinaciones, para los que las herramientas de seguridad tradicionales nunca se diseñaron. En respuesta, los proveedores se apresuraron a llenar los vacíos con soluciones puntuales centradas en amenazas específicas relacionadas con la IA. Aunque bien intencionado, este enfoque ha dado lugar a un ecosistema fragmentado de herramientas inconexas que no comparten información sobre amenazas, no están integradas entre sí y requieren una gestión separada. Como resultado, las empresas se ven obligadas a combinar varios productos solo para mantenerse al día, mientras que las amenazas de la IA siguen evolucionando rápidamente. La realidad es clara: garantizar la seguridad de la IA generativa exige algo más que un conjunto de herramientas aisladas. Requiere un enfoque integrado y nativo de la IA que pueda adaptarse tan rápido como la tecnología que protege.

Palo Alto Networks respondió a este enfoque caótico y enrevesado desarrollando una plataforma completa para la seguridad de la IA. Prisma AIRS es la plataforma de seguridad de IA más completa del mundo, que ofrece protección para modelos, datos, aplicaciones y agentes. Este enfoque unificado no solo aborda las necesidades de seguridad actuales, sino que puede crecer con la tecnología, protegiendo las inversiones en seguridad de IA.

La innovación clave de Prisma AIRS es proteger cada componente de la infraestructura de IA con seguridad integrada en una única plataforma diseñada específicamente para ello. Este enfoque ofrece protección contra amenazas con la máxima eficacia y las tasas de falsos positivos más bajas.

Escaneado de modelos de IA

Los modelos de IA se enfrentan a varias amenazas que pueden socavar su seguridad. La manipulación de modelos consiste en alterar la lógica interna o los parámetros de un modelo para producir resultados sesgados o inseguros. Durante la implementación se pueden insertar scripts maliciosos que permitan acciones no autorizadas o comprometan la seguridad del sistema. Los ataques de deserialización aprovechan la forma en que los modelos cargan los datos guardados, lo que permite a los atacantes ejecutar código dañino. El envenenamiento de modelos se produce cuando se agregan datos falsos o manipulados al conjunto de entrenamiento, lo que hace que el modelo aprenda comportamientos incorrectos o puertas traseras ocultas.

Prisma AIRS combate estas amenazas con el escaneado de modelos de IA, que ayuda a detectar amenazas ocultas como código malicioso, puertas traseras o configuraciones inseguras antes de que se implemente un modelo de IA. Esta capacidad garantiza que el modelo sea seguro, confiable y cumpla con las políticas de seguridad.

Con el escaneado de modelos de IA, puede:

Gestión de posturas

La gestión de posturas es esencial para la seguridad de la IA, ya que proporciona una visibilidad continua de cómo se configuran y utilizan los sistemas de IA. Sin ella, los equipos pueden pasar por alto configuraciones incorrectas, comportamientos inseguros o accesos no autorizados. Dado que los sistemas de IA evolucionan y manejan datos confidenciales, la gestión de posturas ayuda a aplicar políticas, detectar riesgos y reducir la posibilidad de infracciones, lo que garantiza unas operaciones de IA más seguras y conformes con la normativa.

Obtener los permisos adecuados es fundamental para los agentes de IA, que suelen actuar de forma autónoma y acceder a herramientas o datos sin supervisión directa. Las políticas excesivamente permisivas pueden dar lugar a violaciones de la seguridad, fugas de datos o daños en el sistema, mientras que las excesivamente restrictivas pueden limitar la eficacia de los agentes. Para reducir el riesgo de infracciones y garantizar operaciones de IA seguras y conformes, los agentes deben seguir el principio del privilegio mínimo, es decir, tener solo el acceso mínimo necesario para realizar sus tareas, y nada más.

Prisma AIRS proporciona a sus equipos de seguridad las capacidades que necesitan para una gestión eficaz de las posturas. Ahora su equipo puede tener una visibilidad continua de la configuración, el uso y los riesgos de los sistemas de IA. Con esta información, las organizaciones pueden detectar vulnerabilidades de forma temprana, aplicar políticas de seguridad y reducir las posibilidades de configuraciones incorrectas o exposición de datos.

Con la gestión de posturas de Prisma AIRS, puede:  

Equipo rojo de IA

El equipo rojo es importante para la seguridad de la IA porque ayuda a las organizaciones a encontrar puntos débiles antes que los atacantes. Mediante la simulación de ataques reales, los equipos rojos prueban cómo responden los sistemas de IA a amenazas como la inyección de instrucciones, el envenenamiento de datos y la manipulación de modelos. Con este enfoque proactivo se descubren vulnerabilidades ocultas en los modelos, los datos de entrenamiento y el comportamiento del sistema. También ayuda a mejorar las defensas, validar las políticas y reforzar la confianza en las aplicaciones de IA.  

El equipo rojo desempeña un papel fundamental en la seguridad de la IA al identificar las debilidades antes de que los atacantes puedan aprovecharlas. Simula amenazas del mundo real, como la inyección de instrucciones, el envenenamiento de datos y la manipulación de modelos, para revelar vulnerabilidades ocultas en los modelos, los datos de entrenamiento y el comportamiento del sistema. A diferencia de las herramientas estáticas del equipo rojo, que se basan en casos de prueba predefinidos, nuestra solución es dinámica. Entiende el contexto de la aplicación, por ejemplo, servicios de salud o financieros, y se centra de forma inteligente en los tipos de datos que un atacante intentaría extraer. A diferencia de otras soluciones, nuestro motor de pruebas adaptativas no se detiene ante un fallo, sino que aprende, replantea la estrategia y vuelve a realizar pruebas continuamente hasta identificar rutas explotables. Con este enfoque dinámico y sensible al contexto no solo se detectan riesgos más profundos, sino que también se refuerzan las defensas y se genera una confianza duradera en los sistemas de IA.

El equipo rojo de IA de Prisma AIRS permite a su equipo de seguridad de IA:

Seguridad de los agentes de IA

Es importante proteger los agentes de IA porque estos sistemas pueden tomar decisiones y realizar acciones sin supervisión humana. Si se ven comprometidos, podrían hacer un uso indebido de las herramientas, acceder a datos confidenciales o causar daños graves. Amenazas como las inyecciones de instrucciones, el envenenamiento de datos o la concesión excesiva de permisos pueden dar lugar a comportamientos no autorizados. Proteger los agentes de IA garantiza que funcionen de forma segura, sigan los objetivos previstos y no expongan a las organizaciones a riesgos ocultos. A medida que crece la adopción de la IA autónoma, es fundamental contar con controles de seguridad sólidos para evitar el uso indebido y proteger la confianza.

Con la seguridad de agentes de IA, su equipo puede:

Seguridad en tiempo de ejecución

El componente de seguridad en tiempo de ejecución de la plataforma Prisma AIRS es una solución integral diseñada para proteger las aplicaciones, los modelos, los datos y los agentes de IA frente a ciberamenazas tanto específicas de la IA como tradicionales. La seguridad en tiempo de ejecución ofrece protección en tiempo real contra riesgos como la inyección de instrucciones, el código malicioso, la fuga de datos y la manipulación de modelos. Mediante la supervisión continua de los sistemas de IA, la seguridad en tiempo de ejecución garantiza la integridad y la seguridad de las operaciones de IA, lo que ayuda a las organizaciones a implementar tecnologías de IA con confianza.

Para las organizaciones que buscan proteger sus implementaciones de IA, la seguridad en tiempo de ejecución ofrece una solución robusta y escalable que aborda los retos únicos que plantean las tecnologías de IA. Puede implementar la seguridad en tiempo de ejecución en dos niveles: desarrollador y red.

La plataforma de Prisma AIRS se integra perfectamente con Palo Alto Networks Strata Cloud Manager, proporcionando una gestión centralizada y visibilidad en todo el ecosistema de IA. Prisma AIRS emplea mecanismos avanzados de detección y prevención de amenazas para proteger las cargas de trabajo de IA, garantizando el cumplimiento normativo y reduciendo el riesgo de vulneración de datos.

Las organizaciones pueden aprovechar las ventajas de Prisma AIRS integrando estas capacidades en el ciclo de vida de GenAI. Prisma AIRS aborda el ciclo de vida completo, desde la integración previa a la implementación y los controles en tiempo de ejecución hasta la supervisión continua y los equipos de simulación de ataques para probar la seguridad de los agentes y los modelos.

Integración previa a la implementación

Los desarrolladores integran Prisma AIRS en los procesos de CI/CD o MLOps mediante el análisis de modelos y datos de entrenamiento en busca de puertas traseras, serialización insegura y amenazas incrustadas antes de la implementación. Mediante el uso de API, Prisma AIRS también se conecta a registros de modelos como MLflow o Hugging Face Spaces para analizar y etiquetar automáticamente los modelos aprobados, lo que agiliza las comprobaciones de seguridad en las primeras etapas.

Controles de tiempo de ejecución

En tiempo de ejecución, los desarrolladores utilizan Prisma AIRS a través de API, kits de desarrollo de software (SDK), el protocolo de contexto de modelo (MCP) o archivos de configuración de red para aplicar controles de acceso estrictos a los agentes GenAI, definiendo qué herramientas o API puede utilizar cada agente. Estas políticas se aplican mediante sidecars o proxies para evitar comportamientos no autorizados. Prisma AIRS también permite la desinfección de prompts, la validación de entradas, el registro de salidas y la defensa contra la inyección de instrucciones.

Supervisión continua

Prisma AIRS permite la supervisión continua de los entornos de IA al proporcionar visibilidad en tiempo real de los modelos, los agentes y la actividad de los datos. Detecta comportamientos anómalos, configuraciones incorrectas e infracciones de las políticas de seguridad en el momento en que se producen. Al supervisar amenazas como inyecciones de instrucciones, fugas de datos y uso indebido de herramientas de IA, ayuda a proteger tanto los entornos de desarrollo como los de producción. La plataforma analiza continuamente la actividad para descubrir riesgos emergentes y se adapta a las amenazas en constante evolución mediante la detección y las pruebas automatizadas. Este enfoque proactivo garantiza que los sistemas de IA sigan siendo seguros, conformes y resistentes, sin depender de la supervisión manual ni de herramientas desconectadas.

Equipo rojo para pruebas de modelos y agentes

Los desarrolladores utilizan las herramientas de equipo rojo de Prisma AIRS para simular entradas adversas y escenarios de uso indebido, probando cómo responden los modelos y los agentes GenAI en condiciones de ataque potencial. Estos ataques simulados ayudan a identificar vulnerabilidades en la lógica, el comportamiento o el acceso a las herramientas. Los desarrolladores pueden utilizar esta información para reforzar las defensas del modelo y mejorar la seguridad de los agentes, garantizando un sistema más seguro y confiable antes de su implementación.

Strata Copilot es un asistente de IA de Palo Alto Networks que utiliza Precision AI^® para simplificar las operaciones de seguridad de la red con información en tiempo real e interacción en lenguaje natural.

El equipo de desarrollo de Prisma AIRS de Palo Alto Networks se asoció con el equipo de Strata Copilot para la primera implementación de producción de Prisma AIRS. Strata Copilot ayudó a dar forma a la hoja de ruta del producto utilizando activamente la plataforma y proporcionando comentarios desde el principio. Hoy en día, todas las interacciones con Strata Copilot en Estados Unidos se realizan a través de la API de Prisma AIRS, que analiza las indicaciones y las respuestas del modelo en busca de amenazas como la inyección de instrucciones, la exposición de datos confidenciales, las URL maliciosas y el contenido tóxico. Esta integración proporciona al equipo detección de amenazas en tiempo real, visibilidad y aplicación, lo que les permite crear un chatbot seguro y conforme con la normativa. Prisma AIRS también les permite lanzar funciones más rápidamente al alinearse con los principios de IA segura por diseño.

La colaboración con Strata Copilot desempeñó un papel clave en el desarrollo de Prisma AIRS como una solución flexible y lista para la producción. Las opiniones de Strata y de clientes externos ayudaron a perfeccionar el producto para satisfacer las necesidades cambiantes de las aplicaciones, los modelos y los agentes basados en IA. Su equipo de ingeniería considera que Prisma AIRS es esencial para el ciclo de vida del desarrollo, ya que permite una implementación rápida, una seguridad simplificada mediante interceptaciones de API y experiencias de IA más seguras.

La colaboración con Strata Copilot desempeñó un papel clave en el desarrollo de Prisma AIRS como una solución flexible y lista para la producción. Las opiniones de Strata y de clientes externos ayudaron a perfeccionar el producto para satisfacer las necesidades cambiantes de las aplicaciones, los modelos y los agentes basados en IA. Su equipo de ingeniería considera que Prisma AIRS es esencial para el ciclo de vida del desarrollo, ya que permite una implementación rápida, una seguridad simplificada mediante interceptaciones de API y experiencias de IA más seguras.