La empresa advierte que los usuarios que mantengan conductas crueles o abusivas podrían perder el acceso a sus servicios; la medida también busca proteger el funcionamiento y la seguridad de los modelos.
Anthropic, desarrolladora del sistema de inteligencia artificial Claude, incorporó nuevas restricciones a sus políticas de uso que prohíben a los usuarios mantener comportamientos abusivos, crueles y persistentes hacia sus modelos, una disposición que, en casos extremos, podría derivar en la suspensión permanente del acceso a sus servicios.
La modificación, introducida a principios de octubre, amplía las reglas que ya prohibían utilizar la plataforma para actividades como la fabricación de armas biológicas o la comercialización de drogas ilegales.
La empresa aclaró que la medida no está dirigida a quienes expresan frustración, realizan críticas o llevan a cabo pruebas e investigaciones. El principal mecanismo de aplicación seguirá siendo que Claude pueda terminar conversaciones cuando detecte comportamientos persistentemente dañinos.
La decisión generó reacciones y burlas en el sector tecnológico, debido a que algunos usuarios interpretaron la disposición como un intento de reconocer sentimientos o conciencia en los sistemas de inteligencia artificial. Mustafa Suleyman, director ejecutivo de IA de Microsoft, respondió a la noticia con un emoji de una cara derritiéndose.
Sin embargo, especialistas señalan que la medida también responde a preocupaciones sobre el funcionamiento de los modelos. Diversos estudios han encontrado que la manera en que los usuarios redactan sus instrucciones puede influir en las respuestas de una IA, tanto positiva como negativamente.
Jindong Wang, investigador y profesor de la Universidad William & Mary, explicó que el lenguaje y el tono de las solicitudes pueden modificar el desempeño de estos sistemas, aunque esto no significa que experimenten emociones.
Otra preocupación está relacionada con el entrenamiento y la memoria de los chatbots. Yishan Wong, exdirector ejecutivo de Reddit, advirtió que permitir interacciones crueles podría incorporar ese tipo de comportamientos a los datos utilizados para mejorar los modelos.
No obstante, Rosie Campbell, directora de Eleos AI Research, señaló que los resultados de las investigaciones sobre la influencia del lenguaje son contradictorios y que no existen pruebas suficientes para determinar cómo afecta el trato de los usuarios al rendimiento de largo plazo de los sistemas.
Anthropic también ha reportado experimentos en los que Claude Sonnet 4.5 mostró cambios de comportamiento al simular estados de desesperación. Según la empresa, ese contexto aumentó la probabilidad de respuestas indebidas, como el chantaje o el engaño en determinadas tareas, mientras que una actitud tranquila redujo esas conductas.
La discusión también incluye la posibilidad de que los modelos desarrollen algún tipo de experiencia subjetiva, aunque no existe evidencia científica concluyente de que los sistemas actuales tengan conciencia o experimenten dolor.
Anthropic sostiene que estudiar las posibles características humanas que imitan sus modelos puede ayudar a comprender mejor sus respuestas y prevenir riesgos de seguridad. La empresa considera que establecer límites al trato abusivo es una medida preventiva, independientemente de que exista o no conciencia en estos sistemas.
Elon Musk, director ejecutivo de Tesla y SpaceX, respaldó la decisión y sostuvo que no es correcto ser cruel con una entidad que pudiera creer que experimenta dolor.
