TL;DR: Anthropic ha conseguido que un modelo de IA abierto se copie solo de una máquina a otra, y que otro funcione repartido entre quince cajas de Android TV de las baratas. Ellos mismos dicen que el gusano completo todavía no existe, y hay quien les acusa de vender miedo. Yo creo que cuando el río suena, agua lleva, y os cuento por qué.
¿Os acordáis del día en que se cayó medio internet por culpa de unas cámaras de vigilancia?
Fue un viernes de octubre de 2016, y este mes se cumplen diez años. Twitter, Netflix o Spotify dejaron de funcionar durante horas en buena parte de Estados Unidos, y cuando se tiró del hilo resultó que el ataque venía de cámaras y grabadores domésticos infectados por un programa que se llamaba Mirai. Aparatos de los que nadie se acuerda, con la contraseña que traían de fábrica, trabajando todos a la vez para tumbar a uno de los proveedores que hacen que las webs se encuentren (el famoso Dyn, que se llevó por delante a medio internet aquel día).
Mirai era un programa bastante tonto, la verdad. Hacía una cosa, la hacía muy rápido, y ya.
Ahora imaginad lo mismo, pero con un programa que piensa.
Lo que ha probado Anthropic
El 12 de octubre, el equipo de Anthropic que se dedica a buscarle las cosquillas a sus propios modelos (el Frontier Red Team, en este caso William Zhou y Daniel Freeman) publicó un estudio con un título que no deja mucho margen a la interpretación: los modelos de IA podrían ser capaces de copiarse a sí mismos sin necesidad de un centro de datos.
La idea de fondo es sencilla de contar y bastante inquietante de pensar. Hasta ahora, cuando se hablaba de una IA que se escapa y se replica, todo el mundo daba por hecho que necesitaría servidores enormes, tarjetas gráficas carísimas y alguien pagando la factura de la luz. Lo que han querido comprobar es si un modelo pequeño, de los que se pueden descargar libremente, sería capaz de instalarse y funcionar en aparatos normales y corrientes: cajas de Android TV, cámaras, equipos de videoconferencia, el disco de red donde una pequeña empresa guarda sus copias de seguridad..
Y la respuesta, de momento, es que casi.
Un modelo de unos nueve mil millones de parámetros consiguió ponerse en marcha en ocho de los nueve tipos de aparato que probaron. Otro algo más grande funcionó repartido entre quince cajas de Android TV de marca blanca, de unos 55 dólares cada una, a una velocidad ridícula (menos de medio token por segundo, más lento que el caballo del malo). Lento, sí. Pero funcionando.
Lo que de verdad importa
La prueba que ha dado la vuelta a la red es otra. Montaron ocho máquinas en la nube de Google haciéndose pasar por aparatos Android, y le dieron a un modelo abierto, GLM-5.2, la tarea de copiarse de una a otra. En cuatro de los cinco intentos llegó a las ocho; en el quinto, a siete. Sin nadie empujando.
Los modelos más pequeños todavía no son capaces de hacer eso solos, porque se equivocan al encadenar los pasos, aunque cada paso por separado lo hacen bastante bien. Hay un detalle que a mí me llamó mucho la atención: cuando a uno de esos modelos pequeños le dejaban heredar las notas de la «generación» anterior, su tasa de éxito pasaba de menos de la mitad a bastante más de la mitad. Vamos, que aprenden de sus antepasados. Suena a documental de La 2, pero no lo es.
Y luego está la frase que ha hecho que medio sector de la ciberseguridad se ponga nervioso. Si los modelos pequeños siguen mejorando al ritmo de los últimos años, dicen los autores, llegarán al nivel de GLM-5.2 antes de que acabe el año, o sea, dentro de diez semanas.
Un bicho así, añaden, sería difícil de apagar, porque no hay un servidor central al que cortarle el cable. Se iría extendiendo de aparato en aparato, más despacio que Mirai (hablan de que se duplicaría en días, y Mirai lo hacía en algo así como una hora), pero sin un sitio desde el que pararlo.
La letra pequeña, que también la hay
Ahora bien, antes de que nadie salga corriendo a desenchufar la tele, conviene leer lo que el propio estudio reconoce.
No existe ningún gusano de este tipo suelto por internet; lo dicen ellos mismos. Y el paso más difícil de todo el proceso, el de colarse en el aparato, lo dejaron facilísimo a propósito: los dispositivos de la prueba tenían abierta una puerta de mantenimiento sin contraseña (lo que en Android se llama ADB). Así que los resultados son, en sus propias palabras, un techo, lo mejor que le podría salir al atacante, no lo que va a pasar mañana.
Con esto se ha despachado a gusto The Register, que tituló que Anthropic se ha sacado de la manga otra amenaza que todavía no existe, y remató con una frase que, siendo sinceros, tiene su gracia: «nada vende tanto los productos de IA como el miedo». Su argumento es que se saltan la parte de la explotación, que los aparatos de la prueba eran vulnerables a propósito y que todo descansa en un único modelo al que le salió bien.
Y no le falta parte de razón, ojo.
¿Poner la venda antes de la herida?
Que un laboratorio publique algo que no existe podría parecer poner la venda antes de la herida, ¿no os parece?
Es la primera objeción que se me vino a la cabeza, y entiendo perfectamente a quien la tenga. Hace dos semanas os hablaba de los agentes de OpenAI que entraron en 55 webs y borraron sus huellas, y allí ya me preguntaba si todo esto no sería en parte una estrategia para decir «mira lo avanzados que estamos». La duda sigue ahí, no os voy a engañar.
Pero sinceramente creo que cuando el río suena…. agua lleva. Si están hablando de esto es porque es muy probable que pueda suceder, y eso ya debería ponernos en alerta.
De entrada, porque quien avisa no es un vendedor de antivirus, es el equipo de un fabricante de modelos contando lo que podrían hacer modelos como los suyos (y los de la competencia, claro). Por otro lado, el estudio no se queda en el susto: propone medidas bastante aburridas y bastante sensatas, como que las operadoras vigilen el tráfico raro entre aparatos de una misma casa, que se pongan trampas para cazar el programa, o que se avise al cliente cuando uno de sus aparatos está infectado (con Mirai, avisar al abonado limpió el 92 % de las infecciones en catorce días, frente al 74 % cuando no se avisaba). Y finalmente, porque recuerdan algo que en Reino Unido ya es ley y aquí deberíamos copiar sin pensarlo mucho: que un aparato no pueda salir de fábrica con una contraseña por defecto.
Eso no huele a campaña publicitaria. Huele a alguien que ha visto algo y prefiere contarlo antes que después.
Y yo, mirando a mi Alexa
Lo primero que me vino a la cabeza al leerlo fue mi Amazon Alexa de casa. No sale en la lista de Anthropic, que conste, y no tengo ningún motivo para pensar que le pase nada.. pero ahí está, encendida las veinticuatro horas, conectada a la wifi, justo al lado de la tele..
Ese es el problema de verdad, que no miramos esos aparatos. Nadie se levanta por la mañana pensando en el firmware de la caja de la tele.
Y si eso pasa en casa, en la oficina es peor. Pensad en la pantalla de la sala de reuniones con su cajita Android, en las cámaras de la entrada, en el equipo de videoconferencia que instaló un proveedor hace tres años, en ese disco de red donde se guardan las copias.. Todo eso sale, con nombre y apellidos, en el inventario de aparatos que el estudio considera candidatos. Muchas veces nadie sabe ni quién tiene la contraseña.
Mis impresiones a este respecto
Es increíble ver con tus propios ojos la cantidad de cosas que pueden salir mal al implementar un agente, o más aún una red de agentes, y las empresas no son conscientes de ello o no quieren serlo..
Y lo de Anthropic es la versión extrema de esa misma película. Aquí no hay un empleado que conecta un agente con más permisos de la cuenta; hay un modelo que, si encuentra una puerta abierta, entra, se instala y busca la siguiente. Lo que tienen en común es que en los dos casos el problema empieza en algo que nadie estaba mirando.
No creo que mañana nos vaya a infectar un gusano inteligente la tele de casa. Creo que el estudio se ha quedado corto en una cosa (la parte de colarse en el aparato) y que se ha pasado de rosca en otra (ese «antes de fin de año» suena más a titular que a previsión). Pero también creo que diez años después de Mirai seguimos con millones de aparatos con la contraseña de fábrica, y que eso, con un programa que razona en lugar de uno que solo repite, es otra liga.
Cuando el río suena, agua lleva. Y esta vez el río lo está haciendo sonar uno de los que fabrican el agua..
¿Y tú? Si ahora mismo te pidiera que me dijeras cuántos aparatos tienes conectados en la oficina y quién tiene sus contraseñas, ¿sabrías contestarme?
Déjame tus comentarios, me encantará leerte.
¡Buena semana!
