Google, de Alphabet Inc, planea introducir nuevas funciones de apoyo a la salud mental en su chatbot Gemini, ya que tanto la compañía como sus rivales, como OpenAI, se han enfrentado a varias demandas que acusan a sus herramientas de inteligencia artificial de causar daño.
Gemini añadirá una interfaz que dirigirá a los usuarios del chatbot a una línea de ayuda cuando la conversación indique "una posible crisis relacionada con el suicidio o la autolesión", según una publicación de blog de Google.
Además, la compañía añadirá un módulo de "hay ayuda disponible" para los chats sobre salud mental y realizará ajustes de diseño para desalentar la autolesión.
La rápida proliferación de herramientas como Gemini y ChatGPT ha llevado a algunos usuarios a desarrollar relaciones obsesivas con los bots de IA, lo que supuestamente contribuye a delirios y, en casos extremos, a homicidios-suicidios.
Varias familias han demandado a importantes desarrolladores de IA por este motivo.
El Congreso ha investigado las posibles amenazas que los chatbots representan para niños y adolescentes.
En marzo, la familia de un hombre fallecido de 36 años en Florida demandó a Google, alegando que el uso de Gemini por parte del hombre culminó en una "caída de cuatro días en misiones violentas y un intento de suicidio inducido".
En ese momento, Google afirmó que el chatbot lo había derivado a una línea de ayuda para crisis en varias ocasiones, pero prometió mejorar las medidas de seguridad de la herramienta.
En otros casos, usuarios de chatbots han declarado que las herramientas de IA los convencieron de actuar basándose en falsedades evidentes.
En la publicación, Google indicó que ha entrenado a Gemini para "no estar de acuerdo con las creencias falsas ni reforzarlas, sino para distinguir con delicadeza la experiencia subjetiva de los hechos objetivos". La compañía no proporcionó más detalles sobre este proceso.
Anteriormente, Google ha realizado ajustes similares en sus servicios más populares tras ser objeto de escrutinio, añadiendo información de instituciones y profesionales de la salud a su motor de búsqueda y a YouTube.
Google también anunció que donará 30 millones de dólares a servicios globales de apoyo en crisis durante los próximos tres años.