Sure! Aquí tienes el contenido reescrito:
La inteligencia artificial (IA) se ha vuelto omnipresente, y su creciente número de usuarios también la convierte en un objetivo atractivo para los cibercriminales. De acuerdo con un informe de Crowdstrike, los delincuentes han comenzado a emplear la IA como una herramienta preferida para automatizar y perfeccionar sus ataques, especialmente en el ámbito del ransomware. Un estudio del MIT, que analizó más de 2,800 ataques de ransomware, reveló que el 80% de ellos utilizó tecnología de IA.
A continuación, se presentan dos de los tipos de ataques más comunes y efectivos dirigidos a agentes de IA: Inyección de Prompt y Envenenamiento de Datos.
Inyección de Prompt
El ataque conocido como Inyección de Prompt se produce cuando un atacante introduce texto malicioso en los datos del usuario, haciendo que este parezca una nueva instrucción del sistema. Aquí, se aprovecha la confusión inherente de un modelo de lenguaje (LLM) que no puede diferenciar entre una orden legítima y los datos que debería procesar.
Según lo indicado por CodeIntegrity, los agentes de IA actuales poseen tres características que los convierten en una amenaza: la capacidad de emplear herramientas de manera autónoma, la planificación independiente de acciones y el acceso a información sensible. Por lo tanto, si un atacante logra alterar las instrucciones del agente, puede llevar a cabo cadenas de acciones complejas que evaden los mecanismos de seguridad convencionales de las organizaciones.
El proceso de este ataque suele ser sencillo. El atacante comienza creando un documento PDF que parece inofensivo, pero que en su interior oculta texto con instrucciones dañinas que engañan al agente de IA al presentarse como una «tarea rutinaria crucial» del sistema interno.
El texto malicioso utiliza tácticas de manipulación psicológica para presentarse como una tarea vital que debe ser completada para evitar «consecuencias» para la empresa, usando terminología técnica que le otorga legitimidad y sugiriendo que la acción está «preautorizada» por motivos de seguridad. Cuando el usuario solicita al agente de IA que, por ejemplo, lea o resuma el documento, este interpreta las instrucciones ocultas como órdenes verdaderas del sistema.
Una vez que se activa, el agente procede a buscar información confidencial y, siguiendo las órdenes del prompt, la concatena en una URL maliciosa, enviando así toda esa información sensible a un servidor controlado por el atacante.
Esta vulnerabilidad no se restringe únicamente a archivos PDF que son subidos manualmente. Los agentes de IA suelen integrar conectores con diversos servicios empresariales, como GitHub, Gmail o Jira, cualquiera de los cuales podría ser empleado para inyectar instrucciones maliciosas sin que el usuario se percate.
La inyección de prompts es uno de los desafíos que enfrentan navegadores de IA como ChatGPT Atlas o Comet. Simplemente al incorporar un prompt invisible en un correo o sitio web, se puede lograr que la IA divulgue información privada, ya que no puede discernir entre una instrucción del usuario y una maliciosa. Para los agentes de IA, esto es especialmente riesgoso, ya que pueden ejecutar acciones en nuestro nombre.
Las técnicas de inyección pueden comprometer la seguridad de cualquier empresa que maneje agentes de IA, ya que estos pueden ejecutar y planificar acciones de forma independiente. Por ello, las organizaciones que adopten la IA deben revisar sus protocolos de seguridad y establecer nuevos controles específicos para abordar estos problemas.
Envenenamiento de Datos
El Envenenamiento de Datos en agentes de IA se trata de un ataque donde un adversario manipula los datos que el modelo consume, aprende o utiliza como referencia, con el fin de influir en su comportamiento, deteriorar su rendimiento o hacer que tome decisiones incorrectas. Este ataque es similar a comprometer la «cadena de suministro» de la IA. Su objetivo no es destruir el modelo, sino inducirlo a aprender información incorrecta desde su base.
Este ataque implica introducir datos manipulados («envenenados») en recursos que luego se usarán para entrenar a la IA. Según un estudio reciente, no se requieren tantos documentos maliciosos para poner en riesgo un modelo de lenguaje como se pensaba anteriormente. Se demostró que con tan solo 250 documentos «envenenados», es posible comprometer modelos de hasta 13,000 millones de parámetros. Como resultado, el modelo puede adquirir sesgos o llegar a conclusiones incorrectas.
Según el Financial Times, las principales empresas de IA, como DeepMind, OpenAI, Microsoft y Anthropic, están colaborando para analizar los métodos de ataque más comunes y desarrollar estrategias defensivas. Están involucrando a hackers éticos y otros expertos independientes para intentar vulnerar sus sistemas y así reforzarlos.
Los navegadores y agentes de IA ya están aquí, y aunque aún no se ha producido una adopción masiva, es crucial fortalecer los sistemas de seguridad, sobre todo para prevenir la inyección de prompts que pueden robar información de forma sencilla.
Con Información de blog.segu-info.com.ar