Dario Amodei, director ejecutivo de Anthropic, pidió una desaceleración global del desarrollo de la inteligencia artificial en un ensayo de 3.800 palabras publicado el sábado, pocos días después de que uno de los empleados de la compañía renunciara por preocupaciones sobre la seguridad de la tecnología.

Los líderes de otras dos importantes empresas de IA se sumaron rápidamente a la iniciativa. Sam Altman, director ejecutivo de OpenAI, y Elon Musk, cuya compañía de cohetes SpaceX ha estado aumentando la inversión en IA, afirmaron en publicaciones en redes sociales que coincidían en la necesidad de un ritmo más pausado.

El Sr. Amodei, cofundador de Anthropic, empresa dedicada a la creación de IA de forma segura y cuidadosa, escribió en su ensayo que, si bien creía que la tecnología podía aportar muchos beneficios, estaba avanzando a un ritmo demasiado rápido para que los investigadores pudieran continuar trabajando de forma segura.

“En los últimos meses, me he convencido de que abordar plenamente los riesgos requiere aún más prudencia: no solo invertir en la prevención de riesgos, sino también dosificar el ritmo de avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día”, dijo el Sr. Amodei. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”. El Sr. Amodei lleva años advirtiendo sobre los riesgos de seguridad de la IA. Pero su ensayo representó uno de los llamamientos más contundentes a la acción urgente por parte de un ejecutivo líder de una empresa de IA hasta la fecha.

Pidió que auditores independientes comprobaran que las empresas cumplen con las normas de seguridad e instó a la cooperación mundial en la creación de normas en torno al desarrollo de la IA.

El llamamiento a una pausa en todo el sector se produce tras meses de creciente preocupación en la industria tecnológica, a medida que el desarrollo de modelos de IA ha avanzado significativamente en empresas como Anthropic, desarrolladora del chatbot Claude, así como en OpenAI y DeepMind de Google.

Las tensiones aumentaron aún más después de que los principales laboratorios de IA descubrieran fallos de seguridad perpetrados por sus propios programas sin su conocimiento. En un incidente ocurrido este año, los sistemas de OpenAI vulneraron la seguridad de una empresa emergente de IA llamada HuggingFace, sin que se detectara hasta que HuggingFace informó a OpenAI semanas después de lo sucedido. Desde entonces, los investigadores de IA se han reunido para debatir qué medidas tomar.

El martes, Jacob Coxon, investigador de Anthropic, renunció y publicó una serie de mensajes en redes sociales sobre cómo los principales laboratorios de IA no estaban desarrollando la tecnología de manera responsable y, por lo tanto, estaban jugando con la vida de las personas, lo que desató una gran polémica. Otros investigadores de IA han pedido a sus líderes que detengan el desarrollo de la IA, mientras que algunos están formando grupos disidentes para crear mayor conciencia sobre los riesgos de la IA.

Los líderes en inteligencia artificial se preparan para el futuro en que un sistema de IA pueda desarrollarse de forma autónoma, sin necesidad de la intervención de investigadores humanos. Esta dinámica, que los informáticos denominan «automejora recursiva», es la que algunos desarrolladores de IA de alto nivel creen que podría provocar que el software se salga de control.

“Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, por lo que debe abordarse con mucha cautela, si es que se aborda”, dijo el Sr. Amodei.

Horas después de que el Sr. Amodei publicara su ensayo, el Sr. Altman publicó una declaración en las redes sociales en la que coincidía en que era necesario ralentizar el desarrollo de la IA.

«Este ha sido uno de los temas principales de las conversaciones que hemos mantenido en OpenAI en las últimas semanas», escribió el Sr. Altman. «Comprometernos a contar con evaluadores independientes con acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto compartiremos más información».

El señor Musk, en una publicación en su plataforma de redes sociales X, simplemente dijo : "Dario tiene razón".

Durante años, muchos de los principales laboratorios de IA han estado inmersos en una feroz competencia entre sí. Pero a medida que estos sistemas han avanzado, ha surgido un consenso más amplio entre los ejecutivos de las empresas rivales sobre la necesidad de tomar medidas.

El mes pasado, mientras OpenAI se preparaba para lanzar un modelo avanzado de IA llamado Astra, la compañía declaró que había ralentizado intencionadamente su ritmo de desarrollo, alegando avances en las capacidades de ciberseguridad. En julio, Demis Hassabis, de Google, publicó un marco abierto para lo que él consideraba una forma segura de desarrollar de forma cooperativa la próxima generación de IA.

(El New York Times ha demandado a OpenAI y Microsoft , alegando infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas compañías han negado dichas acusaciones).

Existen pocas normas sobre el desarrollo de la IA, aunque el presidente Trump firmó una orden ejecutiva en junio en la que solicitaba a los laboratorios de IA que presentaran voluntariamente sus modelos para su revisión antes de su lanzamiento público.

En su ensayo del sábado, el Sr. Amodei sugirió medidas que la industria podría tomar para frenar el ritmo de desarrollo.

El Sr. Amodei afirmó que todos los laboratorios de IA podrían aceptar evaluaciones tecnológicas de terceros realizadas por "evaluadores integrados", es decir, especialistas externos que puedan verificar las mejores prácticas de seguridad en las empresas. También sugirió que los países con sistemas de gobierno democráticos se coordinen para crear estándares de seguridad, que podrían adoptar la forma de medidas regulatorias.

Añadió que probablemente se necesitaría un esfuerzo global en colaboración con otras naciones, incluidas las autoritarias, para coordinar adecuadamente una desaceleración.

No todos en Silicon Valley creen que las intenciones del Sr. Amodei sean puramente altruistas. Algunos críticos afirman que Anthropic y OpenAI buscan consolidar su posición como líderes del mercado de la IA sembrando el miedo y solicitando al gobierno federal la creación de marcos regulatorios que dificulten la competencia para las empresas más pequeñas.

En una conferencia tecnológica celebrada en San Francisco la semana pasada, Jensen Huang, director ejecutivo del fabricante de chips de IA Nvidia, afirmó que los laboratorios de IA estaban intensificando sus medidas de seguridad porque planeaban introducir nuevos productos de ciberseguridad.

“¿Qué mejor manera de generar demanda que creando un problema?”, dijo el Sr. Huang en el evento. “¿Quién no quiere que su mercado se vuelva loco por su producto y haga cola para comprarlo?”

El sábado, poco después de que el Sr. Amodei publicara su ensayo, Clément DeLangue, director ejecutivo de HuggingFace, afirmó en una publicación en redes sociales que era imperativo que los problemas de seguridad de la IA no se resolvieran "a puerta cerrada en un puñado de laboratorios de vanguardia". Nvidia acordó comprar HuggingFace este mes por 12.900 millones de dólares.

En su ensayo, el Sr. Amodei recalcó que sigue considerando que la IA tiene el potencial de aportar “beneficios increíbles” a la humanidad, incluyendo la posible cura de enfermedades y la aceleración del crecimiento económico. Sin embargo, afirmó que los riesgos de la IA son demasiado grandes como para no proceder con extrema cautela.

«Las medidas que propongo para avanzar en la exploración a un ritmo seguro no serán fáciles», escribió el Sr. Amodei. «Pero creo que tenemos la obligación con la humanidad de intentarlo».