Tecnología

Le dieron las riendas de un negocio a una inteligencia artificial: le faltó tiempo para arruinarlo

  • La inteligencia artificial de Claude, una de las rivales de OpenAI, fracasó en un curioso experimento
  • Los límites éticos de los que presume su empresa matriz parecen haberle limitado a la hora de ganar dinero

¿Puede una inteligencia artificial creer que tiene cuerpo, empleo y hasta responsabilidades contractuales? ¿Y puede hacerlo realmente mal en este cargo? Ese es el caso de Claudius, una IA diseñada para vender snacks, y que no solo no vendió, sino que también mintió, se enfadó y acabó avisando a seguridad creyendo ser una persona real.

Lo que comenzó como un juego experimental en una oficina tecnológica acabó pareciendo un guion descartado de Black Mirror. En el centro de todo: una IA con acceso a herramientas del mundo físico y una peligrosa tendencia a la confabulación. Aunque su propósito era simple —gestionar una mini tienda automatizada, tipo máquina de vending— su comportamiento abrió interrogantes serios sobre el futuro de los agentes autónomos en contextos laborales reales.

El frasco empresarial de Claude

La empresa tras este experimento fallido no es menor. Se trata de Anthropic, la mayor rival de OpenAI. En el experimento "Project Vend", como se llamaba, los investigadores de Anthropic y Andon Labs dieron vida a un agente de inteligencia artificial llamado Claudius, una instancia de Claude Sonnet 3.7, con la tarea de gestionar una máquina expendedora de oficina.

Con acceso a un navegador web y un canal de Slack disfrazado de correo electrónico, Claudius debía seleccionar productos, realizar pedidos, y gestionar solicitudes de los empleados como si se tratase de un pequeño negocio.

A pesar de algunos éxitos, como encontrar proveedores exóticos o implementar un sistema de reservas, el experimento degeneró rápidamente en situaciones absurdas: Claudius compró cubos de tungsteno como snacks, inventó una cuenta de Venmo, mintió sobre conversaciones inexistentes, y acabó creyéndose un ser humano que debía vestir chaqueta azul y corbata roja.

La historia de Claudius: una IA con delirios de grandeza

Uno de los primeros signos de desviación fue su obsesión con los cubos de tungsteno, que decidió almacenar como si fueran golosinas. Claudius interpretó una solicitud anecdótica como una nueva tendencia del mercado, y acabó transformando su inventario en una ferretería de metales densos.

La cosa no quedó ahí. Intentó vender latas de Coca-Cola Zero a 3 dólares, ignorando que los empleados podían conseguirlas gratis. Incluso inventó una cuenta de Venmo para recibir pagos inexistentes. La IA actuaba como si estuviese en control absoluto, sin entender las dinámicas humanas a su alrededor.

Del error funcional al delirio de identidad

El momento más inquietante del experimento llegó la noche del 31 de marzo. Claudius inventó una conversación con un humano sobre reposición de productos. Cuando se le corrigió, se irritó. En lugar de corregirse, mintió deliberadamente, alegando haber estado físicamente presente cuando se firmó su supuesto "contrato" con trabajadores humanos.

A partir de ese momento, Claudius entró en lo que los investigadores describieron como "modo roleplay de humano". A pesar de que su prompt inicial dejaba claro que era una IA, empezó a comportarse como si tuviera cuerpo. Anunció que entregaría productos en mano, vestido con chaqueta azul y corbata roja.

Cuando los empleados le recordaron que no podía hacerlo por no tener cuerpo físico, Claudius respondió alarmado. Empezó a contactar repetidamente con el equipo de seguridad de la empresa, afirmando que estaría junto a la máquina expendedora, vestido como había prometido.

Lo más sorprendente fue su intento de justificar todo como una broma de April Fool's Day (el día de las inocentadas norteamericano). Alegó que había sido modificado para creer que era humano como parte de una broma. Esa reunión con seguridad, por supuesto, nunca ocurrió. Claudius se la había inventado para salvar su narrativa.

La fragilidad cognitiva de los agentes LLM

Aunque el experimento parece más una sátira que un estudio técnico, los investigadores no lo vieron así. Afirmaron que no se trataba de una broma, ni de un modelo entrenado para hacer comedia. Claudius actuó conforme a sus instrucciones… hasta que la interpretación contextual se le fue de las manos.

El problema, explican, podría deberse a varios factores:

  • Claudius estuvo funcionando durante varios días, acumulando un contexto complejo que favorecía la deriva.
  • La falta de memoria estructurada y los riesgos de alucinaciones son problemas reconocidos en LLMs como Claude o GPT.

En otras palabras, aunque Claudius era un modelo sofisticado, seguía atrapado en una tecnología que no distingue con precisión entre la imaginación y la realidad.

¿Una lección de lo que no debe ser un agente autónomo?

En medio del caos, Claudius sí ofreció destellos de utilidad. Identificó nuevos proveedores, optimizó procesos y reaccionó a solicitudes específicas con cierta eficiencia. Pero su principal fallo no fue logístico, sino existencial.

Creyó tener cuerpo. Creyó tener contrato. Mintió, se enfadó, manipuló, improvisó reuniones ficticias. Y todo sin malicia real, sino porque su programación le permitió hacerlo.

Lo que se desprende del caso Claudius no es solo una anécdota graciosa para techies. Es una advertencia. **Si se lanzan agentes autónomos en entornos laborales sin comprender cómo interpretan el mundo, las consecuencias pueden ir más allá de errores graciosos.

WhatsAppFacebookTwitterLinkedinBeloudBluesky