Character.AI, el servicio de chatbots desarrollado por antiguos ingenieros de Google, anunció esta semana cambios significativos destinados a mejorar la seguridad de los usuarios adolescentes. Esta decisión responde al creciente escrutinio de la prensa y a las demandas en curso que alegan que la plataforma ha contribuido a la autolesión y el suicidio entre menores. La empresa tiene previsto introducir controles parentales y ha desarrollado un modelo de lenguaje amplio (LLM) específico para usuarios menores de 18 años, diseñado para imponer límites más estrictos a las interacciones de los bots, sobre todo en lo que se refiere a contenidos sensibles o sugerentes.

En un reciente comunicado de prensa, Character.AI habló de la creación de dos versiones distintas de su modelo de chatbot: una para adultos y otra para adolescentes. El modelo centrado en los adolescentes tiene por objeto aplicar directrices más conservadoras para las respuestas, reduciendo eficazmente la probabilidad de intercambios inapropiados. Esto incluye mecanismos de filtrado mejorados para bloquear las peticiones de los usuarios que puedan suscitar contenidos nocivos. En particular, si en una conversación se tocan temas relacionados con el suicidio o las autolesiones, el sistema dirigirá ahora a los usuarios a la National Suicide Prevention Lifeline, lo que supone un paso proactivo para abordar los problemas de salud mental.

Otro cambio fundamental es la restricción de la edición de las respuestas de los bots por parte de los menores, una función que antes permitía a los usuarios modificar las conversaciones de forma que pudieran aparecer contenidos inapropiados. Esta medida pretende evitar la manipulación de las interacciones del chatbot que podría exacerbar discusiones dañinas. Además, Character.AI está trabajando en funciones que abordan las preocupaciones sobre la adicción y la confusión de los usuarios respecto a la naturaleza de las interacciones del chatbot. Por ejemplo, los usuarios recibirán notificaciones después de una hora de uso continuado, recordándoles el tiempo que han pasado en la plataforma.

La plataforma también dijo que estará colaborando con expertos en seguridad en línea para adolescentes, como ConnectSafely. La empresa reconoce que su enfoque debe evolucionar junto con los avances tecnológicos y las necesidades de los usuarios, y como parte de esta evolución, están “mejorando las cláusulas de exención de responsabilidad en toda la plataforma para aclarar que todas las interacciones con bots son ficticias y no deben considerarse asesoramiento u orientación profesional”.

Recientemente, han habido quejas y demandas contra Character.AI. Un caso involucró a un joven de 14 años que se quitó la vida trágicamente después de desarrollar un vínculo emocional con un chatbot inspirado en un personaje de Game of Thrones. Otra demanda alega que un bot sugirió respuestas violentas a un adolescente que luchaba contra los límites de tiempo frente a la pantalla impuestos por sus padres, y una tercera queja reveló que una joven asesinada por su novio “renació” como chatbot en la plataforma sin el permiso de la familia.

Share Twitter Facebook Whatsapp Copy link

Despues de leer, ¿qué te pareció?