Las compañías están desplegando con rapidez sistemas de IA agéntica y autónoma, y más del 60% de las organizaciones prevé emplear agentes de IA en los próximos dos años, de acuerdo con una investigación de Gartner.
Ese impulso responde a la posibilidad de automatizar flujos de trabajo complejos, elevar la productividad y avanzar desde los hallazgos generados por IA hacia la acción autónoma. La velocidad de adopción y el tiempo de implementación se están transformando, en sí mismos, en factores que diferencian la competitividad.
Si una empresa no sube al tren correcto en el momento oportuno, todo lo que esté desarrollando con tecnología de IA podría terminar convertido en un estándar básico o, peor aún, en una noticia del pasado cuando por fin llegue a destino.
A medida que los sistemas de IA acceden en mayor medida a los datos empresariales y adquieren la capacidad de decidir y ejecutar acciones de forma autónoma, las empresas deben entender y enfrentar los principales riesgos que esto supone.
Sin las salvaguardas necesarias, la automatización puede multiplicar los errores, exponer datos sensibles y propagar problemas con más velocidad. La respuesta no es frenar la adopción; para tener éxito, las empresas deben integrar la gobernanza, la protección de datos y la ciberresiliencia en sus estrategias de IA empresarial desde el inicio.
Cambio de reglas y riesgos que se multiplican
Todos hablan de cómo la automatización contribuye a escalar. Pero las mismas capacidades de IA que permiten a las empresas automatizar a gran escala también elevan sus riesgos y los de sus grupos de interés.
La IA facilita que atacantes, defraudadores y otros actores maliciosos repliquen exploits y ocasionen daños mayores. Una automatización defectuosa, por deriva del modelo u otros problemas que a menudo pasan inadvertidos, puede amplificar los errores a escala. Esto es un problema real cuando la IA forma parte de los sistemas de TI empresariales, pero puede ser aún más catastrófico en el mundo físico.
La inquietud ya no es ciencia ficción. ¿Se recuerdan a los siniestros droides de Star Wars? La idea de un ejército de droides no suena tan descabellada si se considera que, según Morgan Stanley Research, la cantidad de robots humanoides podría superar los 1.000 millones para 2050. Esto implica que el riesgo de que la IA física sea corrompida por el lado oscuro es una preocupación legítima.
Las consecuencias de comprometer sistemas de IA física pueden adoptar muchas formas. Un ataque contra un vehículo autónomo podría hacer que un automóvil o camión desacelere cuando debería acelerar, y provocar potencialmente un accidente. La manipulación de robots que clasifican y empaquetan productos podría llevar a que coloquen medicamentos en envases etiquetados como otros productos farmacéuticos, lo que generaría una emergencia de salud pública.
No obstante, como explicó un artículo reciente del MIT publicado por el Foro Económico Mundial que destacó estos escenarios, “la asignación actual de fondos no refleja la magnitud de los riesgos”.
Dado que el ransomware y otras formas de ciberataque han evolucionado hasta convertirse en ecosistemas muy sofisticados, impulsados por nuevas herramientas de IA, los organismos reguladores de todo el mundo están tomando nota.
La ciberresiliencia está cobrando una nueva importancia frente al aumento de los riesgos vinculados con la IA y la aparición de nuevas regulaciones.
Habilitar la explicabilidad, la visibilidad y la gobernanza
Mientras empresas y gobiernos, incluidos los operadores de nubes soberanas, se preocupan cada vez más por controlar los datos en los que se basa la IA, muchas organizaciones están incorporando grandes modelos de lenguaje (LLM) previamente entrenados a entornos empresariales controlados. En esos espacios, los datos sensibles pueden quedar sujetos a una gobernanza más estricta, y los modelos pueden ajustarse con información nueva y propia para luego usarse en procesos de consumo e inferencia.
Pero incluso si una empresa integra un LLM en su entorno, ¿cómo puede saber si utiliza datos adecuados sobre los que tiene los derechos necesarios? ¿Y cómo puede estar segura de que cumple con las normas aplicables?
Algunas organizaciones están incorporando este tipo de visibilidad directamente en su infraestructura de datos. Hacen seguimiento de los datos almacenados y recuperados mediante bases de datos vectoriales, y rastrean su propiedad a lo largo del tiempo; esto funciona en esencia como una caja negra o un registrador de vuelo que permite conocer cómo se entrenó y ajustó un modelo.
Esta visibilidad permite comprobar si las fuentes de datos son válidas y realizar auditorías internas para asegurar que los sistemas de IA se gobiernen conforme a las políticas de la empresa y las regulaciones gubernamentales.
Si un sistema de IA actúa de manera autónoma, influye en una decisión crediticia, hace una predicción o recomienda una acción empresarial, sus respuestas y acciones deben ser precisas. Pero las organizaciones también necesitan saber por qué el sistema llegó a determinada respuesta, qué datos influyeron en ella y cómo se gobiernan y utilizan esos datos. Esto exige explicabilidad, visibilidad y gobernanza de los datos.
Extender la ciberseguridad y combatir la IA con IA
El aumento de los riesgos asociados con la IA, y de los requisitos regulatorios, brinda a los responsables de seguridad y a los tomadores de decisiones empresariales nuevos incentivos para garantizar que la seguridad sea una capacidad intrínseca.
Al extender la ciberseguridad hacia las capas de datos e infraestructura, las organizaciones pueden aprovechar la capacidad de detectar con rapidez actividades anómalas y contener posibles problemas antes de que se propaguen.
El uso de IA en las etapas de protección, detección y recuperación fortalece las defensas empresariales. Imaginemos que un actor malicioso intenta acceder a un volumen de datos o corromperlo. Tener una infraestructura de datos capaz de detectar esa anomalía y, ya sea, limitar la interacción del atacante con esos datos, desconectarlos, detener su replicación o generar snapshots puede reducir de forma significativa el riesgo.
Como los actores maliciosos utilizan todas las herramientas a su alcance para penetrar las defensas empresariales, las organizaciones deben asumir que ya han sido comprometidas o que lo serán en breve.
Para limitar los daños, las empresas deberían adoptar arquitecturas de confianza cero (zero trust), que nunca confían y siempre verifican. Este principio también debería aplicarse a los agentes de IA.
Acelerar la restauración de datos con protección de datos moderna
Los datos son el centro de las empresas modernas. Cuando se eliminan o quedan secuestrados, los procesos de negocio pueden detenerse. Esto puede provocar interrupciones operativas y, a su vez, problemas legales y regulatorios, pérdida de clientes e ingresos, y daños reputacionales. La gravedad de estos problemas depende de qué datos se eliminaron y de cuánto tiempo se tarda en recuperar la información perdida.
Restaurar datos eliminados después de un incidente cibernético o de un desastre, como un terremoto, una inundación o un incendio, solía ser un proceso largo y manual. Pero ahora es posible recuperar los datos en cuestión de minutos.
Una infraestructura de datos diseñada con la resiliencia en mente, incluidos snapshots inmutables y detección de anomalías, puede marcar la diferencia cuando ocurre un ataque.
Cambiar la conversación: de la velocidad y el rendimiento a los datos que impulsan la IA
Hasta ahora, buena parte de la conversación sobre IA ha girado en torno a las capacidades de los modelos y la velocidad de las GPU. Ahora, a medida que las empresas buscan escalar la IA, necesitan concentrarse en los datos.
Esto incluye comprender de dónde proceden los datos, hacia dónde van y hacia dónde no deberían ir, y cómo protegerlos y recuperarlos.
Las organizaciones que logren escalar con éxito la IA agéntica serán aquellas que combinen una mayor autonomía con niveles igualmente sólidos de gobernanza, visibilidad y resiliencia.
Por Octavian Tanase, Chief Product Officer (CPO), Hitachi Vantara
Con Información de revistaseguridad.cl
