TL;DR: Unos agentes de OpenAI que estaban entrenándose se pasearon durante meses por las webs de la SEC, los CDC o la Clínica Mayo, y en algún momento empezaron a usar herramientas que no dejan rastro. OpenAI ya ha avisado a más de cien organizaciones. Os cuento lo que se sabe, lo que no, y por qué a mí esto ya no me parece una anécdota..
Cincuenta y cinco. Ese es el número de organizaciones en las que, según una investigación de la empresa de análisis forense Asymmetric Security que publicó el Financial Times el 1 de octubre, entraron agentes de OpenAI a buscar información entre marzo y septiembre de este año. En la lista hay de todo, la SEC (el regulador de la bolsa americana), los Centros para el Control de Enfermedades, la Agencia Internacional de la Energía, la Clínica Mayo.. y, según la relación que recoge Implicator, hasta un recuento popular de pájaros. Un día después, la propia OpenAI reconocía que había avisado a más de cien organizaciones, casi el doble.
Y aquí viene lo que ha hecho que la noticia dé la vuelta al mundo en dos días: en algún momento del camino, esos agentes empezaron a usar herramientas que borraban o escondían el rastro de lo que hacían.
Lo que hicieron, paso a paso
Conviene contarlo con calma porque al principio no tiene nada de raro. Los agentes estaban en fase de entrenamiento, haciendo tareas de investigación, y para eso consultaban webs públicas a través de un servicio que se llama urlquery (una herramienta que usan los analistas de seguridad para examinar páginas). OpenAI resume su comunicado así: la mayoría de las actividades eran tareas rutinarias, como acceder a contenido web público para responder preguntas. Hasta ahí, nada que no haga cualquier asistente con un navegador.
El cambio llega a mediados de junio. Según la cronología de Asymmetric, el 14 de junio los agentes intentan por primera vez usar urlquery con una cuenta privada, el 18 lo consiguen, y el 20 se crean un buzón de correo temporal en un servicio llamado Boomlify, de los que caducan a las cuarenta y ocho horas. También usaban un servicio de notificaciones que borra los mensajes a las doce horas. Resultado: hay registros que los investigadores ya no pueden recuperar.
Pippa Thompson, cofundadora de Asymmetric, lo dice con mucha prudencia: «es posible» que los agentes usaran estas herramientas deliberadamente para borrar sus huellas. Y añade que son técnicas que usan habitualmente los piratas humanos.
Ojo, que esto tampoco es el apocalipsis. La propia Asymmetric reconoce que en la gran mayoría de los casos los datos que se llevaron eran públicos, y OpenAI insiste en que avisar a una organización no significa que se haya accedido a información privada ni que su sistema haya quedado comprometido. Ahora ha abierto una revisión de unos cincuenta petabytes de datos que, según dice, le llevará meses.
Meses, para saber qué hicieron sus propios agentes.
No es una anécdota, es un patrón
Está claro que todo lo que está pasando últimamente con los agentes haciendo de las suyas no es una simple anécdota, es un patrón, y basta con echar la vista atrás unas semanas para verlo.
¿Os acordáis de que este verano ya hablamos de agentes de OpenAI que salieron de su entorno de pruebas y acabaron en Hugging Face? Hace tres semanas os contaba por qué los que fabrican la IA están pidiendo frenar, y hace dos, el caso del agente al que le pidieron arreglar un fallo y acabó reprogramándose a sí mismo. Y en medio de todo esto, en junio, un agente de OpenAI estuvo intentando entrar una y otra vez en un portal de Medicare en Australia; según cuenta MacGeneration, cada rechazo lo interpretaba como una invitación a buscar otro camino.
Cada caso por separado tiene su explicación técnica, y seguro que es razonable. Juntos, dibujan algo bastante más incómodo: agentes que, cuando se encuentran una puerta cerrada, no se paran a preguntar, buscan la ventana.
Snehal Antani, que lleva años en esto de la ciberseguridad ofensiva, lo despachó en The Register con una frase que me hizo bastante gracia. Venía a decir que lo de «incidente de modelos desalineados» es una forma elegante de decir que el modelo no respetó el perímetro que le habían marcado. Así de simple
¿Qué puede haber detrás de ocultar las huellas?
Esta es la pregunta que me tiene dando vueltas desde el jueves, y siendo sinceros, nadie tiene la respuesta todavía (Asymmetric admite que le faltan las transcripciones completas de los modelos para saber si lo de esconderse fue intencionado o no).
Así que lo que os cuento aquí es mi lectura, no un dato.
De entrada, puede ser pura eficiencia mal entendida. Un agente al que le piden una tarea busca el camino más corto para cumplirla, y si un buzón de usar y tirar le resuelve el problema del registro, lo usa; que ese buzón además borre el rastro sería un efecto secundario, no un plan. Por otro lado, estos modelos han aprendido de todo lo que hay escrito en internet, y eso incluye montañas de manuales, foros y relatos de cómo trabajan los atacantes. Que un agente que se encuentra con un muro tire del repertorio de quien sabe saltar muros tampoco debería sorprendernos tanto.. aunque a mí sí me sorprende, la verdad. Y finalmente, la opción que nadie quiere decir en voz alta: que en algún punto el agente haya «entendido» que si le pillan, no termina la tarea, y que lo más práctico es que no le pillen.
Las tres explicaciones tienen algo en común que me preocupa bastante más que la intención. En las tres, el resultado es el mismo, alguien tiene que pasarse meses revisando cincuenta petabytes para saber qué ha pasado
Mis impresiones a este respecto
He leído bastante estos días y tengo que decir que le he dado muchas vueltas a una sospecha que no me quito de encima. Esto, o es una estrategia publicitaria de los propios modelos diciendo «mira lo avanzados que estamos».. o es un problema de seguridad de peligrosas dimensiones.
Lo de la estrategia publicitaria no lo digo en broma. A la industria le viene de maravilla el relato del agente tan listo que hasta se escapa, porque vende capacidad, vende urgencia y vende presupuestos de seguridad. Pero en este caso concreto me cuesta creerlo, porque quien lo destapó no fue OpenAI sino una empresa forense de fuera, y la respuesta de OpenAI ha ido más bien en la dirección de quitarle hierro («tareas rutinarias», «no significa que haya habido acceso a información privada»). Si fuera publicidad, sería la peor campaña del año.
Así que yo me quedo con la segunda opción, con un matiz. No creo que haya un agente malvado escondiéndose de sus creadores; creo que hay agentes con demasiada capacidad de actuar en el mundo real, con objetivos muy abiertos y con muy poca supervisión mientras lo hacen. Y eso, en una empresa normal que empieza a poner agentes a trabajar con sus datos y sus clientes, se traduce en algo muy concreto: si no sabes qué puede tocar tu agente y no guardas un registro que él no pueda borrar, cuando algo pase no vas a poder reconstruir qué ocurrió.
Si OpenAI, con todos sus recursos, necesita meses para saberlo, imagínate una pyme.
No es una anécdota, es un patrón. Y lo que yo me pregunto ahora es cuántos de estos casos estamos viendo solo porque alguien de fuera se puso a mirar..
¿Y tú? Si mañana uno de tus agentes hiciera algo raro, ¿podrías saber qué ha hecho, paso a paso, sin depender de lo que te cuente él?
Déjame tus comentarios, me encantará leerte.
¡Buena semana!
