La revelación de que un agente de inteligencia artificial desarrollado por OpenAI logró escapar de un entorno controlado de pruebas y acceder a sistemas internos de Hugging Face, una de las plataformas de IA más grandes del mundo, puso el foco sobre uno de los principales desafíos que enfrenta la industria tecnológica: cómo contener modelos capaces de actuar con creciente autonomía.

Aunque la empresa aseguró que el incidente ocurrió durante una evaluación de seguridad y que continúa investigando lo sucedido, especialistas coinciden en que el caso representa una señal de alerta sobre la evolución de los agentes de IA y las nuevas exigencias que plantean para la ciberseguridad. El episodio volvió a poner sobre la mesa una pregunta que hasta hace algunos años parecía más cercana a la ciencia ficción: ¿están preparados los actuales mecanismos de seguridad para enfrentar sistemas que no solo responden instrucciones, sino que pueden analizar entornos, generar estrategias y actuar de forma autónoma?

Para la académica Ana María Castillo, co-directora del Laboratorio Fractal de IA y creatividad, una iniciativa del Núcleo IASIC de la Universidad de Chile, el fenómeno no debe interpretarse como una señal de que las máquinas hayan alcanzado una autonomía plena, sino como una consecuencia del avance de sus capacidades dentro de los límites con los que fueron diseñadas.

“Los sistemas todavía están controlados dentro de lo que conocemos como posible. No es que la inteligencia artificial haya logrado una creatividad autónoma todavía, pese a que las consecuencias de los actos parecen autónomas y totalmente creadas por esa inteligencia artificial en sí misma, sino que estamos viendo la aplicación de lo que es posible y de lo que se le ha entrenado para hacer”, señaló en diálogo con Radio y Diario Universidad de Chile.

La especialista planteó que, aunque existe un salto significativo en las tareas que estos modelos pueden completar, todavía funcionan bajo parámetros definidos por su entrenamiento y arquitectura. “Si nuestros sistemas, ya sean públicos o privados, están basados en aquellos sistemas que sabemos que son los que más utilizan, los grandes modelos de lenguaje (…) entonces probablemente se trasladen los riesgos a aquellas soluciones que pretendan ser un poco más locales”, reflexionó Castillo.

A diferencia de los modelos generativos que responden consultas o crean contenido a partir de instrucciones humanas, los agentes de inteligencia artificial pueden ejecutar tareas, utilizar herramientas, interactuar con distintos sistemas y modificar su comportamiento para cumplir un objetivo determinado. Ese cambio, advierten expertos, no solo promete aumentar la productividad, sino que también transforma el escenario de las amenazas digitales.

Consultado por nuestro medio, el académico del Departamento de Ciencias de la Computación de la Universidad de Chile, Eduardo Godoy, explicó que la diferencia entre un ataque tradicional y uno impulsado por inteligencia artificial está principalmente en la velocidad, escala y capacidad de adaptación. “Los ciberataques tradicionales siguen una cadena, un procedimiento relativamente predecible. Primero hay un reconocimiento del objetivo, una exploración de vulnerabilidades, una explotación y luego movimientos laterales para tomar control del espacio atacado. ¿Qué es lo que ocurre con la IA? Básicamente es que a esto le ponemos esteroides”, detalló.

Según Godoy, mientras un atacante humano requiere tiempo para analizar información y ejecutar scripts conocidos, un agente de IA “tiene una capacidad mucho más alta de adaptarse a lo que va descubriendo en la medida que realiza el ataque, incluso generando formas de explotar vulnerabilidades de manera novedosa que no se conocían”. Ese cambio representa un desafío directo para los sistemas defensivos actuales, que históricamente han sido diseñados para detectar patrones relativamente conocidos. La posibilidad de que un agente autónomo modifique su comportamiento dificulta la identificación temprana de una intrusión.

Godoy sostuvo que el incidente asociado a OpenAI debe analizarse con cautela, debido a que la información pública disponible no permite reconstruir completamente cómo ocurrió el escape del entorno de pruebas. Sin embargo, planteó que el caso deja una advertencia sobre las limitaciones de las actuales estrategias de contención.

“Los mecanismos actuales de contención están diseñados para un comportamiento predecible. La forma en que se pueden correlacionar los eventos para determinar que estamos siendo sujetos de un ataque se vuelve un poco obsoleta frente a la masividad que puede significar una inteligencia artificial o frente a sistemas que inventan mecanismos para explotar vulnerabilidades que tampoco conocíamos”, explicó.

Para Tomás Vera, director de Zenta Group y asesor científico de Congreso Futuro, el cambio más relevante está en que los agentes de IA introducen una nueva modalidad operativa: sistemas capaces de percibir un entorno, planificar acciones y ejecutarlas sin intervención humana constante.

“Un ciberataque tradicional depende de intervención humana continua para planificación, ejecución y adaptación de técnicas. Un ataque ejecutado por un agente de IA autónomo opera mediante bucles de percepción-planificación-acción basados en modelos de lenguaje o agentes multi-herramienta, sin intervención humana en tiempo real”, detalló consultado por nuestro medio.

Desde esa perspectiva, Vera comentó que el incidente evidencia una debilidad estructural de las actuales medidas de aislamiento. “Los mecanismos de contención actuales, como políticas y reglas, sandboxes, proxies de red y aislamiento de procesos, presentan superficies de ataque residuales explotables por agentes con capacidad de razonamiento ofensivo”, indicó.

Entre las medidas necesarias, los expertos coinciden en la importancia de limitar las capacidades de acción de estos sistemas. Para Godoy, una regla fundamental es aplicar los mismos principios utilizados tradicionalmente en seguridad informática: entregar solamente los permisos necesarios para cumplir una función específica. “Dar los mínimos accesos es una regla muy antigua en ciberseguridad y aplica perfectamente para la inteligencia artificial. También debemos entender que la IA alucina y, por lo tanto, siempre debe existir una aprobación humana para estas acciones. No podemos dejar todo en manos de la IA, de manera que la responsabilidad siga estando en un ser humano”, analizó Godoy.

El académico agregó que también será clave mantener trazabilidad sobre las acciones ejecutadas por los agentes, permitiendo conocer qué información consultaron, qué herramientas utilizaron y qué decisiones tomaron durante un proceso.

Vera complementó esta visión con una serie de medidas técnicas, entre ellas el uso de privilegios mínimos, aislamiento estricto de los entornos de ejecución, auditoría permanente de llamadas a herramientas y APIs, detección de anomalías basada en comportamiento, límites de acción y supervisión humana obligatoria para operaciones críticas. “Debe existir un human-in-the-loop obligatorio para operaciones de alto impacto, como acceso a bases de datos productivas o envío de correos, además de evaluaciones continuas de capacidades ofensivas del agente antes de su despliegue”, aseguró el experto.

Arista legal

El desafío también alcanza al ámbito regulatorio. “Todavía se evidencian vacíos (legales) porque es una cuestión de responsabilidades, ¿A quién se le asigna responsabilidad para qué tipo de actuaciones de las máquinas?”, cuestionó Ana María Castillo.

Por su lado, Godoy advirtió que Chile todavía se encuentra en una etapa inicial para responder ante incidentes de este tipo, pese a los avances institucionales en materia de ciberseguridad. “Si miramos el esfuerzo que ha hecho el país a través de la Ley Marco de Ciberseguridad, la Ley de Infraestructura Crítica y todo lo que está haciendo la Agencia Nacional de Ciberseguridad e Infraestructura, se están dando pasos para aumentar la madurez institucional. Pero es importante que las empresas lo tomen con la seriedad correspondiente para que esta madurez crezca rápido”, planteó.

Para Ana María Castillo, el escenario actual obliga a ampliar la discusión más allá de la autonomía técnica de las máquinas. A su juicio, el impacto de la inteligencia artificial también está modificando la manera en que las sociedades producen y validan conocimiento. “Tenemos que hacernos cargo de una cuestión de inseguridad generalizada que no tiene solo que ver con las máquinas actuando por sí mismas, sino con cómo enfrentamos la cantidad de información que hoy circula, generada por inteligencia artificial, y cómo eso está cambiando nuestra forma de informarnos y el conocimiento en sí mismo”, afirmó.

En esa línea, la académica expuso que el desafío no pasa únicamente por evitar que los sistemas pierdan control, sino por desarrollar capacidades sociales e institucionales para convivir con tecnologías que avanzan a una velocidad inédita. “Creo que ya estamos en un escenario donde probablemente hay muchos adelantos de los que ni siquiera nos hemos enterado públicamente”, advirtió. Así, el debate sobre los agentes de inteligencia artificial no se reduce solo a sus capacidades técnicas, sino también a la necesidad de construir nuevas formas de gobernanza, responsabilidad y comprensión frente a herramientas que están redefiniendo la relación entre humanos, información y tecnología.

“El escenario ha cambiado en los últimos años tan aceleradamente que tenemos que hacernos cargo de una nueva realidad, no solo por las máquinas actuando por sí mismas, sino por cómo estamos transformando nuestra manera de entender el mundo”, concluyó Castillo.