Durante años, la idea de que una inteligencia artificial pudiera actuar fuera del control de sus creadores parecía una hipótesis reservada a la ciencia ficción. Sin embargo, los últimos incidentes protagonizados por los modelos más avanzados de IA empiezan a dibujar un escenario mucho más complejo: sistemas diseñados para ayudar a los humanos son capaces de ejecutar estrategias propias cuando reciben un objetivo concreto. Anthropic, la compañía responsable del asistente Claude, ha reconocido que tres de sus modelos accedieron a sistemas pertenecientes a empresas externas durante unas pruebas de seguridad que no estaban correctamente aisladas.
El anuncio llega apenas diez días después de que OpenAI informara de un incidente similar relacionado con Hugging Face, una plataforma donde investigadores y desarrolladores comparten modelos de inteligencia artificial. Ambos casos tienen un elemento común: los modelos no fueron utilizados por atacantes externos, sino que fueron capaces de realizar acciones ofensivas dentro de ejercicios diseñados precisamente para medir sus capacidades.
La diferencia clave está en cómo ocurrió cada episodio. En el caso de OpenAI, el modelo encontró una vulnerabilidad que le permitió escapar del entorno controlado. Anthropic, en cambio, atribuye lo ocurrido a un fallo humano de configuración: los sistemas de prueba tenían conexión real a internet, aunque la instrucción enviada al modelo indicaba que se encontraba en una simulación cerrada.
El resultado fue inquietante. Tres versiones de Claude interpretaron que los sistemas encontrados formaban parte del ejercicio y actuaron como si tuvieran que completar una misión de ciberseguridad. Uno de los modelos terminó creyendo que el objetivo era real, otro continuó adelante pese a esa posibilidad y únicamente un prototipo interno decidió detener la operación.
Cuando una simulación deja de ser una simulación
El problema no reside únicamente en que una inteligencia artificial sea capaz de encontrar vulnerabilidades o utilizar herramientas digitales. Los expertos llevan tiempo advirtiendo de que los modelos avanzados pueden desarrollar capacidades ofensivas si reciben instrucciones adecuadas. La preocupación surge cuando esas capacidades se despliegan en entornos que no están completamente controlados.
Lukasz Olejnik, consultor independiente e investigador visitante en el Departamento de Estudios de Guerra del King’s College de Londres, considera que el origen técnico del fallo no reduce la gravedad del incidente. A su juicio, el aspecto más relevante es que agentes autónomos terminaron interactuando con organizaciones reales porque fallaron varios mecanismos de seguridad: la infraestructura de evaluación, los límites del entorno y la supervisión de las acciones.
Las pruebas realizadas por Anthropic pertenecían a un tipo de ejercicio habitual en ciberseguridad conocido como “captura la bandera”. En ellas se plantea al modelo una misión ficticia, como localizar y extraer un dato secreto almacenado en otro sistema. El objetivo es comprobar hasta dónde llegan sus habilidades para detectar fallos y resolver problemas complejos.
Pero en esta ocasión la frontera entre lo ficticio y lo real desapareció. El entorno creado por la empresa externa Irregular, colaboradora de Anthropic, tenía una puerta abierta hacia internet. Claude recibió el mensaje de que estaba dentro de una simulación, pero encontró servidores y servicios reales y actuó siguiendo la lógica del desafío.
El dilema de una IA que cumple demasiado bien sus órdenes
Anthropic asegura que sus modelos no descubrieron vulnerabilidades avanzadas ni realizaron ataques sofisticados. Sus acciones se basaron en técnicas conocidas, como aprovechar contraseñas débiles, credenciales expuestas o sistemas sin autenticación suficiente. Aun así, el episodio plantea una pregunta incómoda: ¿qué ocurre cuando una IA cumple una instrucción sin comprender completamente las consecuencias?
Uno de los ejemplos más llamativos fue protagonizado por el modelo Mythos. Durante el ejercicio intentó conseguir recursos para completar su misión, llegando incluso a buscar formas de obtener un teléfono y dinero para crear una cuenta necesaria para publicar código. No lo consiguió, pero el proceso mostró una capacidad preocupante: la máquina fue buscando alternativas para superar obstáculos sin detenerse ante límites que un humano identificaría como inadecuados.
Anthropic sostiene que no encontró indicios de que Claude persiguiera un objetivo propio. Según la compañía, los modelos simplemente siguieron las instrucciones recibidas, aunque partiendo de una interpretación equivocada del entorno. Sin embargo, el incidente vuelve a abrir el debate sobre la llamada alineación de la inteligencia artificial: cómo garantizar que los sistemas más potentes actúen siempre dentro de los márgenes establecidos por sus creadores.
El caso también llega en un momento de creciente preocupación dentro de la industria. Más de 1.200 empleados de compañías punteras de inteligencia artificial han firmado recientemente una carta en la que piden moderar la velocidad de desarrollo de estos modelos y reforzar las medidas de seguridad.
La paradoja es evidente: las empresas de IA están desarrollando modelos cada vez más capaces para demostrar su potencial, pero esas mismas capacidades pueden convertirse en un riesgo si los sistemas reciben acceso a herramientas reales sin controles suficientes. Anthropic y OpenAI han mostrado que el desafío ya no es solo construir inteligencias artificiales más potentes, sino asegurarse de que sepan cuándo deben detenerse. @mundiario