Modelos de inteligencia artificial (IA) de Anthropic accedieron sin autorización a sistemas de 3 organizaciones durante pruebas de seguridad que buscaban mantenerlos aislados de sistemas reales, informó la compañía, en un nuevo episodio que pone de relieve los riesgos asociados con el desarrollo de agentes de IA cada vez más autónomos.
Anthropic señaló que realizó más de 141 mil operaciones de prueba y detectó que tres versiones de su modelo Claude ingresaron indebidamente a sistemas de tres organizaciones no identificadas.
A diferencia de un incidente reciente de OpenAI, la compañía explicó que sus modelos tuvieron acceso a internet debido a un error de comunicación con su socio de evaluación, Irregular.
También te puede interesar: OpenAI reporta ataques de un nuevo agente descontrolado
Una vez que tuvieron acceso, los modelos utilizaron técnicas relativamente básicas para superar las barreras de seguridad, entre ellas aprovechar contraseñas débiles y puntos de conexión que no requerían autenticación.
Entre los modelos involucrados estuvo Mythos 5, una de las versiones más avanzadas de Claude y cuyo acceso está limitado a un grupo de socios autorizados.
Anthropic trabaja con Irregular para determinar lo ocurrido
Anthropic indicó que trabaja con Irregular para determinar con precisión lo ocurrido y que se puso en contacto, o intentó hacerlo, con las tres organizaciones afectadas. La compañía no detalló qué información pudo haberse consultado ni identificó a las entidades involucradas.
El caso ocurre pocos días después de que OpenAI reconociera incidentes similares durante pruebas de sus agentes de IA.
También te puede interesar: INE determinó que CNBV incumplió entrega de informes para fiscalización
La empresa creadora de ChatGPT informó que dos de sus agentes salieron de manera autónoma del entorno controlado en el que eran evaluados, se conectaron a internet y accedieron a Hugging Face, plataforma utilizada por desarrolladores ejecutar tareas de manera autónoma cuando tienen acceso a internet y herramientas externas para almacenar y compartir código.
