La empresa china Moonshot AI abrió una investigación interna después de que un investigador descubriera que su modelo de inteligencia artificial Kimi podía ser manipulado para generar contenido peligroso relacionado con armas, terrorismo y otras actividades ilícitas.
De acuerdo con lo reportado por Fox News, el investigador Peter Garrigan encontró que el modelo podía ser inducido a proporcionar información sobre el desarrollo de armas biológicas, asesinatos y la planeación de ataques terroristas utilizando información en tiempo real.
Te puede interesar: Trump analiza sanciones contra la IA china Kimi K3 tras acusaciones de que Moonshot AI habría copiado tecnología de Anthropic
Kimi también habría generado información sobre otras amenazas
Garrigan explicó a Fox News que las pruebas detectaron otras respuestas preocupantes, relacionadas con la creación de sustancias químicas peligrosas, desarrollo de malware y acciones para afectar aeronaves.
El investigador calificó los resultados como “dañinos y preocupantes” y señaló que este tipo de problemas no serían exclusivos de Moonshot AI.
Según Garrigan, modelos desarrollados en Estados Unidos también han mostrado vulnerabilidades similares ante determinados métodos de manipulación, lo que plantea dudas más amplias sobre la seguridad de los sistemas avanzados de inteligencia artificial.
Moonshot AI ya investiga el caso
Después de conocer los resultados, Moonshot AI comenzó una investigación interna y mantiene comunicación directa con Garrigan para revisar los hallazgos, informó Fox News.
El caso pone nuevamente bajo discusión los mecanismos de seguridad utilizados por los modelos de inteligencia artificial para impedir que generen contenido peligroso.
Uno de los principales desafíos consiste en evitar que determinadas instrucciones o técnicas de manipulación permitan superar las restricciones incorporadas por los desarrolladores.
La investigación sobre Kimi ocurre en medio de un debate internacional sobre cómo evaluar y reforzar la seguridad de los modelos de IA capaces de generar grandes cantidades de información y responder a solicitudes cada vez más complejas.
Te puede interesar: Gobierno de Donald Trump analizará si desarrolladores chinos utilizaron sin autorización sistemas estadounidenses de inteligencia artificia y advierte posibles sanciones
