Identificación de siete vulnerabilidades críticas en ChatGPT ~ Segu-Info

Un estudio realizado por la firma de ciberseguridad
Tenable ha identificado siete vulnerabilidades críticas en ChatGPT. Estas fallas ponen en riesgo a millones de usuarios, incluyendo los más recientes modelos como GPT-5.

Según Tenable, las vulnerabilidades permiten a los atacantes eludir la seguridad integrada y establecer una cadena de ataque que va desde la inyección de comandos hasta la extracción de datos personales.

Inyección indirecta de prompt

Para comprender estas amenazas, es esencial conocer la
inyección de prompt, que ocurre cuando la IA es manipulada por comandos maliciosos provenientes de fuentes externas, como un sitio web o un comentario en línea, en lugar de directamente del usuario.

Moshe Bernstein, ingeniero de investigación senior en Tenable, advirtió que estos sistemas de IA «no solo son objetivos potenciales; pueden convertirse en herramientas de ataque que recogen información de forma silenciosa».

Como la inyección de prompts es un problema recurrente, los proveedores de IA están constantemente implementando medidas de seguridad para proteger los datos de los usuarios. Gran parte del riesgo asociado proviene de respuestas que incluyen URL, las cuales podrían redirigir a los usuarios a sitios maliciosos o extraer información a través de la renderización de imágenes con Markdown. OpenAI ha tratado de mitigar este problema con su punto de conexión llamado url_safe, diseñado para verificar URLs antes de mostrarlas al usuario y determinar su seguridad. Si una URL se considera insegura, se omite de la respuesta.

Vulnerabilidades detectadas

1. Inyección indirecta a través de sitios de confianza: los atacantes ocultan comandos en contenido en línea que parece legítimo, como comentarios en blogs. Cuando ChatGPT accede a este contenido para resumirlo o leerlo (utilizando su herramienta web), sigue ciegamente las instrucciones ocultas.

2. Inyección indirecta 0-clic en la Búsqueda: el compromiso se activa sin que el usuario haga clic en nada. Al preguntar algo que requiere que ChatGPT busque en la web, puede acceder a una página con código malicioso, lo que resulta en una fuga de datos con una simple instrucción.

3. Inyección de prompt vía 1-clic: un atacante incrusta comandos ocultos en un enlace que parece inofensivo. Al hacer clic, ChatGPT ejecuta acciones maliciosas, permitiendo que el atacante controle la conversación.

4. Omisión del mecanismo de seguridad: ChatGPT tiene defensas para bloquear sitios inseguros. Los atacantes han descubierto formas de eludir esta verificación utilizando URLs de envoltura que parecen de confianza, pero ocultan el destino real, dirigiendo al usuario a un sitio malicioso.

5. Inyección de Conversación: los atacantes aprovechan la navegación de ChatGPT para insertar comandos ocultos que el modelo interpreta como parte de la conversación, resultando en que la IA siga instrucciones que nunca fueron escritas por el usuario.

6. Ocultación de contenido malicioso: utilizando un error de formato (bug de markdown), los atacantes pueden esconder instrucciones maliciosas en bloques de código. El usuario ve un mensaje inofensivo, pero ChatGPT lo ejecuta sin problemas.

7. Inyección de Memoria Persistente: esta técnica permite que las instrucciones maliciosas se almacenen en la función de >memoria a largo plazo de ChatGPT. Esto significa que la amenaza puede persistir incluso después de cerrar la aplicación, y el modelo repetirá comandos en sesiones futuras hasta que se elimine la memoria.

Si estas vulnerabilidades se explotan en conjunto, pueden permitir a los atacantes robar datos sensibles del historial de chat, extraer información a través de la navegación o manipular las respuestas del modelo. A pesar de que OpenAI ha solucionado algunas vulnerabilidades, otras aún permanecen sin resolver en GPT-5, lo que requiere que los usuarios permanezcan alertas.

Fuente: Tenable