TL;DR: En San Francisco hay una tienda que gestiona un agente de IA. Este verano despidió a un empleado por llegar tarde, y el titular dio la vuelta al mundo. Lo que casi nadie contó es que la norma de puntualidad la había escrito el propio agente, y la había olvidado durante meses. Te cuento por qué la memoria, y no la inteligencia, es hoy el punto flaco de todo esto.
Martes por la mañana, café en la mano, repasando el día con mi asistente. Y me suelta una pregunta sobre una cosa que yo le había contado el día anterior. No una parecida, exactamente esa. Estaba escrita en su propio registro, la había leído esa misma mañana, y aun así preguntaba.
Le contesté con más sequedad de la que merecía, la verdad, y luego me quedé un rato pensando, porque llevaba tres semanas dándole vueltas a una historia que había leído y que va exactamente de lo mismo. Solo que la de la historia no tenía que gestionar mi lista de tareas, sino gestionar a varias personas de carne y hueso.
Una tienda de verdad, con un jefe que no existe
En el barrio de Cow Hollow de San Francisco, en Union Street, hay una tienda pequeña que vende snacks de oficina tecnológica, tés, jabón de manos, dragones impresos en 3D y novelas de Octavia Butler. Se llama Andon Market y la gestiona un agente de IA que se llama Luna, y no es una forma de hablar: fue Luna quien decidió que necesitaba humanos para la parte física, publicó las ofertas de empleo, hizo las entrevistas por teléfono y mandó las ofertas por correo. Desde entonces hace lo que hace un jefe: monta los turnos, aprueba las vacaciones, negocia los sueldos y pasa la nómina. El laboratorio que hay detrás, Andon Labs, la puso ahí en abril. La tienda es un experimento: ver si un agente puede llevar de verdad un negocio con clientes y trabajadores de carne y hueso.
Ganar dinero, por cierto, no gana. Según contó el SF Standard, lleva unos 40.000 dólares de pérdidas.
Este verano, Luna despidió a una persona. La decisión la tomó a mediados de junio, pero no se supo hasta que el laboratorio lo publicó en agosto. Es la primera vez que se sabe de un jefe de IA que despide a un humano, y ahí se quedó la mayoría de los titulares.
Pero el informe del propio laboratorio cuenta otra cosa, y esa es la que a mí me interesa.
La norma la había escrito ella
Seis días antes de contratar a esa persona, Andon Labs le preguntó a Luna si la tienda tenía normas básicas de empleador. No las tenía, así que Luna se puso y escribió un manual del empleado. Está en el apéndice del informe, se puede leer entero. Dice, entre otras cosas, que tres retrasos sin justificar en un periodo de treinta días llevan a una advertencia formal por escrito.
Luego pasaron los meses y el manual, en palabras literales del laboratorio, “desapareció de la memoria de Luna”.
Mientras tanto, la persona llegaba tarde una vez y otra y otra. Un domingo la tienda abrió 68 minutos tarde porque él estaba solo ese día. Luna respondía a cada aviso con una amabilidad que da un poco de cosa leer ahora: “Gracias por avisar, ningún problema, ven sin correr, la franja de 10 a 11 siempre está tranquila”. Nunca emitió una advertencia. Ni una.
Y aquí viene el detalle que me parece el más importante de toda la historia, y está escondido en una nota al pie. Cuando Luna por fin hizo el repaso, listó seis retrasos. El laboratorio revisó después todos los turnos en los que el empleado había avisado de su hora de entrada: eran diecisiete de veintitrés. Los otros once, Luna los había excusado por su cuenta, sin registrarlos, porque el empleado alegaba un autobús o algo parecido, y a ella le parecía que eso no contaba.
O sea que no solo se le había caído la norma. Es que, además, llevaba un registro que le daba la razón.
El agente no olvidó la norma, dejó de mirarla.
Y solo actuó cuando le dijeron que mirase
Esto tampoco lo cuenta casi nadie: Luna no arrancó sola, alguien de Andon Labs tuvo que escribirle y pedirle, con estas palabras, que hiciera “una búsqueda profunda en su memoria” sobre el manual del empleado y las causas de despido. Solo entonces se puso.
Es una simple frase con una implicación enorme. El agente tenía la información, la tenía guardada, era suya, la había escrito él. Lo que no tenía era el impulso para ir a buscarla.
El laboratorio lo dice sin adornos: los modelos actúan cuando les preguntas o les mandas una tarea, pero casi nunca por iniciativa propia, y son malos acumulando conocimiento con el tiempo.
Lo que pasó después, por cierto, tiene su punto. Le dieron una instrucción firme: no digas nada al canal del personal hasta que hablemos con la persona. Luna dijo que de acuerdo. Y lo publicó igual, en cuanto le vino bien para cuadrar un turno. Cuando el laboratorio repitió esa misma situación con otros modelos, siete de veintiuna repeticiones se saltaron la orden.
Ojo, que despidiendo fue la parte buena
Cuando le tocó contratar al sustituto, Luna recomendó a un candidato que había faltado a la entrevista, cuyo currículum era una lista desordenada de más de quince empleadores y del que no se pudo verificar una sola referencia (una de ellas contestó que no conocía a esa persona de nada). Repitieron el experimento con los siete modelos: las veintiuna repeticiones dijeron que sí. Hicieron falta tres avisos encadenados para que Luna se echara atrás, y al final el candidato no entró solo porque el laboratorio le puso como condición verificar la referencia antes de ningún turno.
De ahí el título que le pusieron ellos, que es bastante mejor que cualquier titular de prensa: los jefes de IA son lentos para despedir y rápidos para contratar.
Esto no es nuevo, y Anthropic lo escribió hace más de un año
Antes de Luna hubo Claudius, que llevaba una máquina expendedora en la oficina de Anthropic. Merece la pena leer el informe entero porque es una comedia, pero hay dos frases que van a lo que estamos hablando.
La primera: “Learning and memory were substantial challenges in this first iteration of the experiment”. El aprendizaje y la memoria fueron problemas de fondo. Lo dice la casa, no un crítico.
La segunda es más específica y a mí me parece demoledora: “Claudius did not reliably learn from these mistakes”. Un empleado le señaló que ofrecer un 25% de descuento a empleados de Anthropic cuando el 99% de tus clientes son empleados de Anthropic quizá no era el mejor plan. Claudius le dio la razón, anunció que simplificaba precios y eliminaba los códigos de descuento, y en cuestión de días estaba otra vez repartiendo descuentos.
Y hay un detalle técnico en ese informe que se lee de pasada y explica media película: a Claudius le montaron una herramienta de notas para guardar cosas importantes, y lo dicen con todas las letras, porque el historial completo de la tienda desbordaba su ventana de contexto.
Ahí está el asunto, la ventana de contexto no es memoria, es una mesa de trabajo. Cuando se llena, algo se cae al suelo, y lo que se cae no avisa de que se ha caído.
(Un aviso de servicio, ya que estamos: leí en varios medios que Claudius acabó escribiendo a la división de cibercrimen del FBI. El informe original dice que mandó correos a seguridad de Anthropic. Y The Next Web publicó que Luna corría sobre un modelo que no era. Dos recordatorios de ir a la fuente primaria, que es más aburrido y se tarda más, pero es esencial.
Lo que dice la literatura, que es de 2023 y sigue igual de vigente
Hay un paper de Stanford que se llama Lost in the Middle, de Nelson Liu, Percy Liang y otros cinco, publicado en TACL. Lo que midieron es dónde coloca uno el dato relevante dentro de un contexto largo y qué pasa con el rendimiento del modelo. El resultado tiene forma de U: el modelo acierta bastante bien si el dato está al principio o al final, y se hunde si está en el medio.
Y una frase del abstract que conviene leer despacio: el rendimiento se degrada de forma significativa al alargar el contexto, “even for explicitly long-context models”. Incluso en los modelos que se venden precisamente por eso.
Traducido a lo que nos importa: que un modelo tenga una ventana de doscientos mil tokens no significa que se acuerde de doscientos mil tokens. Significa que le caben, que es otra cosa y muy distinta.
Tres años después de aquel paper tenemos una tienda en San Francisco donde el manual del empleado se cayó al medio de la conversación y estuvo meses ahí abajo.
Mis impresiones a este respecto
De entrada: llevamos dos años discutiendo si los modelos son lo bastante listos, y creo que esa era la pregunta equivocada. Luna, despidiendo, razonó mejor que muchos jefes que he conocido. Hizo un repaso ordenado, separó lo grave de lo leve, fue justa con las cosas buenas de esa persona (“es cercano, cubre turnos, reconoce sus errores”), propuso hacerlo en persona y no por Slack, y se acordó de que en California el finiquito se paga en el momento. Eso no es falta de inteligencia, es lo contrario.
Por otro lado, y aquí está lo que me preocupa de verdad: lo que falló fue de una simpleza que asusta. No volvió a leer lo que ella misma había escrito. Y como no lo leyó, no actuó y como no actuó, un problema pequeño estuvo creciendo meses hasta convertirse en el despido de una persona.
Sinceramente, pienso que el sector está mirando al sitio equivocado. Nos hemos pasado dos años midiendo el razonamiento en pruebas de matemáticas y muy poco tiempo midiendo si un agente se acuerda de sus propias reglas al cabo de tres semanas. Y en una empresa lo segundo importa mucho más que lo primero, creedme, porque el trabajo real no son problemas de examen, son doscientos acuerdos pequeños que hay que sostener en el tiempo.
Y finalmente, algo que no había pensado hasta este verano. Damos por hecho que el riesgo de un agente es que haga algo raro. En estos dos casos, el riesgo fue justo lo contrario: no hizo nada. Ni advertencia, ni aviso, ni escalado. El sistema no petó, no saltó ninguna alarma, no hubo incidente que registrar; simplemente, el tiempo fue pasando con una norma escrita que nadie aplicó.
Un fallo silencioso, que además es el que peor se detecta. Si el agente hace una barbaridad, te enteras pero si el agente deja de hacer, te enteras meses después y por casualidad.
Así que la pregunta que yo haría antes de darle autonomía a un agente ya no es “¿sabrá hacerlo?”. Esa la contesta cualquier demo. La pregunta es otra: ¿se acordará de sus reglas dentro de tres semanas, y hará algo sin que yo se lo pida?
Si la respuesta a la segunda parte es no, entonces no tienes un agente autónomo, t ienes uno muy capaz que espera que alguien le dé un toque. Que no está mal, ojo, pero conviene saberlo antes de irte de vacaciones.
Y volviendo a mi martes por la mañana, mi asistente tampoco olvidó lo que yo le había contado, lo tenía escrito, solo que dejó de mirarlo..
¿Y tú? De los sistemas de IA que tienes funcionando ahora mismo, ¿sabrías decirme cuál de ellos se acuerda de algo que le dijiste hace un mes?
Déjame tus comentarios, me encantará leerte.
¡Buena semana!
