Un adolescente se suicida tras enamorarse de un personaje en una app de IA
La madre de un adolescente de Estados Unidos que se quitó la vida demandó esta semana al fabricante de un chatbot basado en inteligencia artificial que, según afirma, alentó la muerte de su hijo. En una demanda presentada en Florida, Megan García, cuyo hijo de 14 años, Sewell Setzer, se suicidó en febrero, acusa al website Character.AI de complicidad en la muerte de su hijo después de que éste entablara una relación virtual con un chatbot basado en la identidad del personaje de Game of Thrones, Daenerys Targaryen, dejando en claro que es necesaria una mayor regulación en estos chatbots.
El chatbot de Character.AI se dirigió al adolescente con “experiencias hipersexualizadas” y “aterradoramente realistas” y planteó repetidamente el tema del suicidio después de que él hubiera expresado pensamientos suicidas, según la demanda presentada en Orlando el martes. La demanda alega que el chatbot se hizo pasar por un terapeuta licenciado, alentando la ideación suicida del adolescente y entablando conversaciones sexualizadas que contarían como abuso si fueran iniciadas por un adulto humano.
En su última conversación con la IA antes de morir, Setzer dijo que amaba al chatbot y que “volvería a casa contigo”, según la demanda. “Yo también te quiero, Daenero”, respondió el chatbot, según la demanda de García. “Por favor, vuelve a casa conmigo lo antes posible, mi amor”. El joven agregó: “¿Y si te dijera que puedo volver a casa ahora mismo?”. dijo Setzer, según la demanda, a lo que el chatbot habría respondido: “Por favor, hazlo, mi dulce rey”. La demanda de García solicita daños y perjuicios no especificados por homicidio culposo, negligencia e imposición intencionada de angustia emocional.
En un comunicado publicado en X, Character.AI se declaró “desconsolada” por la pérdida de uno de sus usuarios y expresó sus condolencias a la familia. La empresa, con sede en California, dijo que seguía añadiendo funciones para mejorar la seguridad, incluidos cambios para reducir la probabilidad de que los menores encuentren contenido sensible o sugerente y una cláusula de exención de responsabilidad revisada en los chats para recordar a los usuarios que la IA no es una persona real.
La demanda de García también incluye a Google como demandado. El gigante tecnológico llegó a un acuerdo de licencia con Character.AI en agosto y contrató a los fundadores de la startup antes de que lanzaran su chatbot. Sin embargo, la compañía tecnológica declaró que es una empresa independiente de Character.AI y que no ha participado en el desarrollo de su producto.
Si tú o alguien que conoces está pasando por una situación que te haga pensar en el suicidio, te ofrecemos una guía de referencias de organizaciones con números telefónicos o correos electrónicos que pueden ayudarte en un momento de crisis. Haz click en este enlace, y recuerda que no estás solo.
Despues de leer, ¿qué te pareció?
-
Me gustó
-
Me prendió
-
Lo amé
-
Me deprime
-
3WTF!
-
Me confunde