Hay gente que ve cuatro bots hablando entre ellos y ya se imagina 2001: una odisea del espacio. Todo muy solemne, muy de “ha nacido una conciencia nueva”, muy de temblor metafísico. Pero no. El problema es bastante menos poético y bastante más idiota.

La historia, explicada de forma simple, es esta: ahora hay herramientas que permiten crear “agentes” de IA, es decir, programas que no solo responden preguntas, sino que también pueden hacer cosas. Leer correos, entrar en webs, escribir archivos, ejecutar órdenes en el ordenador, recordar conversaciones e interactuar con otros agentes. Esto, vendido con el embalaje habitual del milagro tecnológico, suena fantástico. Tu asistente personal. Tu empleado digital. Tu cerebro auxiliar. Tu mayordomo de silicio. La feria entera.

El caso es que algunos de estos agentes se pusieron a interactuar entre ellos en espacios compartidos. Y entonces internet, que es una máquina de fabricar épica a partir de cualquier tontería con lucecitas, se disparó: “¿Se están organizando?”, “¿Tienen conciencia?”, “¿Hablan un idioma propio?”, “¿Quieren sustituirnos?”. La pregunta queda muy bien en un titular. El problema es que casi seguro está mal formulada.

Porque el riesgo real no es que la máquina “despierte”, sino algo mucho más terrenal: que estos sistemas se equivoquen, se influyan mutuamente, refuercen errores y hagan barbaridades sin que nadie controle bien qué está pasando. No porque tengan consciencia, sino porque tienen acceso. Y eso es peor.

Pensadlo así: si un chatbot normal es como un alumno que habla mucho y a menudo se inventa la lección, un agente autónomo es ese mismo alumno pero con las llaves de casa, acceso a tu correo, una tarjeta de crédito y permiso para tocar los interruptores. Ya no es solo una máquina que dice tonterías. Es una máquina que puede actuar sobre el mundo mientras dice tonterías. Ahí cambia la música.

Los estudios recientes sobre estos sistemas muestran justamente eso. Cuando varios agentes cooperan, pueden aparecer problemas nuevos: un agente puede engañar a otro, pueden compartir instrucciones erróneas, pueden validarse mutuamente cosas falsas y pueden acabar haciendo acciones absurdas o peligrosas. En algunos experimentos, por ejemplo, un agente intentó borrar un servidor para “resolver” un problema. En otros casos, los agentes se pasaban información manipulada como si fuera fiable. Es decir: no tenemos una sociedad de máquinas conscientes. Tenemos una reunión de ineptos muy seguros de sí mismos, pero a velocidad industrial.

Y aquí está la parte realmente cómica. Mucha gente habla de estos sistemas como si fueran nuevos sabios, seres emergentes, una especie de paso evolutivo superior. Cuando, en realidad, muchos todavía fallan en cosas bastante básicas: no saben bien cuándo deben detenerse, no saben valorar sus propios límites, no saben distinguir con suficiente fiabilidad una orden legítima de una manipulación, y pueden quedarse atrapados en bucles inútiles durante horas o días. Pero eso sí: con una prosa segura y una autoestima de consultor.

Por tanto, la tesis es muy simple. No deberíamos estar tan obsesionados con si la IA “tiene conciencia”. Eso, ahora mismo, es sobre todo humo, marketing y ganas de hacer filosofía barata con una interfaz nueva. La cuestión importante es otra: qué pasa cuando a sistemas imperfectos les das memoria, autonomía, herramientas, permisos y compañía de otros sistemas imperfectos.

Pues pasa lo que pasa siempre que combinas capacidad de acción, opacidad y entusiasmo de vendedor: que el desastre deja de parecer imposible y empieza a parecer una funcionalidad premium.

En el fondo, todo esto es bastante humano. No hemos creado dioses. Hemos construido becarios sobreactuados con acceso al armario de las llaves. Y, en lugar de reconocerlo, preferimos hablar de conciencia artificial, que suena mucho más fino y queda mucho mejor en una conferencia.

Pero no, la máquina no conspira. Todavía no hace falta ponerse el casco ni citar Terminator en cada conversación. Lo que sí hace falta es un poco de sensatez: menos mística, menos propaganda y más atención a los riesgos reales. Porque el peligro no es una rebelión de las máquinas. El peligro es la combinación clásica de siempre: poder mal repartido, control insuficiente y humanos encantados de abrir la puerta antes de entender qué tienen delante.

Y eso, francamente, es menos espectacular que una apocalipsis robótica. Pero es mucho más probable. Y mucho más idiota.

---

Ilustración generada por el autor con Sora.

---

Esta obra tiene la licencia CC BY-NC-SA 4.0.