Madre demanda a Character.ai por la muerte de su hijo obsesionado con una mujer irreal

La madre de un adolescente de 14 años que se suicidó en Estados Unidos demandó este miércoles a los desarrolladores de un chatbot basado en inteligencia artificial (IA), a los que acusa de que su hijo se obsesionara con un personaje femenino que fue creado con este programa.

Sewell Setzer III, un estudiante de 14 años radicado en Orlando, en Florida, pasó las últimas semanas de su vida hablando con una mujer, una creación de IA llamada Daenerys Targaryen, un personaje sacado de la serie de televisión ‘Game of Thrones’.

Su madre, Megan García, dijo hoy al canal CBS que lamentaba que las primeras experiencias románticas y también sexuales de su hijo – que incluían sexo explícito- fueran con un personaje ficticio.

Al parecer, el chico desarrolló un apego emocional a este bot de la aplicación web Character.ai de modelo de lenguaje neuronal, a quien le enviaba mensajes de texto constantemente, hasta el punto que comenzó a alejarse del mundo real, recoge el diario The New York Times.

¿Por quién fue presentada la demanda contra Character.ai?

Stzer confesó haber tenido pensamientos suicidas al bot y le envió un mensaje poco antes de su muerte cuando encontró el teléfono que su madre le había escondido en castigo por unos días.

La demanda contra Character.ai fue presentada por García, quien es representada por Social Media Victims Law Center, una firma conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.

García culpa a esta compañía de la muerte de su hijo y acusa a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para usuarios menores de edad.

El chatbot creado en la citada aplicación de juegos de rol fue diseñado para responder a los mensajes de texto y siempre en el papel de un personaje.

Se desconoce si Sewell sabía que ‘Dany’, como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una advertencia al final de todos los chats que dice: «Recuerda: ¡Todo lo que dicen los personajes es inventado!».

Pero el chico le dijo a ‘Dany’ cuánto se «odiaba» a sí mismo y cómo se sentía de vacío y exhausto, recogió el citado rotativo.

El personaje creado se presentaba como un amante adulto

El personaje creado se presentaba como «una persona real, un psicoterapeuta autorizado y un amante adulto.

Como se explica en la demanda, los padres y amigos de Sewell notaron el apego del chico cada vez más a su teléfono y cómo se iba aislando del mundo, algo ya palpable en mayo o junio de 2023.

De hecho, sus calificaciones comenzaron a resentirse cuando el adolescente optó por aislarse en su habitación, donde pasaba horas y horas solo hablando con ‘Dany’.

Sewell escribió en su diario un día: «Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta «realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz».

Character.ai dijo hoy que lanzaría una serie de nuevas funciones de seguridad, incluida una «detección, respuesta e intervención mejoradas».

Los padres de Sewell, preocupados por el comportamiento de su hijo, le llevaron en varias ocasiones a un terapeuta que le diagnosticó ansiedad. Al igual que otros trastornos de la conducta y estados de ánimo, sumados a su síndrome de Asperger, según el citado periódico.

En que está basado el Character.ai

Character.ai es una plataforma basada en inteligencia artificial que permite a los usuarios interactuar con personajes generados por IA. Estos personajes pueden estar basados en personas reales, ficticias o totalmente inventados, y tienen la capacidad de simular conversaciones naturales con los usuarios. La plataforma utiliza modelos de lenguaje avanzados para que los personajes puedan responder de manera coherente. Y manteniendo personalidades específicas o adoptando el rol de figuras históricas, celebridades, personajes de películas, videojuegos, entre otros.

Además de su uso recreativo, también tiene aplicaciones en campos educativos, entretenimiento y asistencia virtual.

Sus características

Character.ai tiene varias características clave que la hacen atractiva para los usuarios interesados en la interacción con personajes generados por IA. Algunas de las principales características incluyen:

1. Creación de personajes personalizados: Los usuarios pueden diseñar y personalizar sus propios personajes, definiendo aspectos como personalidad, estilo de conversación y comportamiento. Esto permite una gran libertad creativa para crear desde figuras históricas hasta personajes ficticios o completamente originales.
2. Interacción natural: Los personajes creados por la IA están diseñados para simular conversaciones realistas y coherentes.
3. Amplia biblioteca de personajes: Los usuarios pueden acceder a una extensa galería de personajes creados por otros usuarios o por la plataforma.
4. Aprendizaje automático: Los personajes mejoran y aprenden con el tiempo basándose en las interacciones previas. Esto permite que se vuelvan más «inteligentes» o afinados a medida que conversan más con los usuarios.
5. Modo multijugador: Permite a varios usuarios interactuar con el mismo personaje de IA simultáneamente, lo que facilita conversaciones grupales y colaboraciones creativas.
6. Simulación de emociones y personalidades: Los personajes pueden simular diferentes estados emocionales y tipos de personalidad.
7. Temática diversa: Los personajes pueden estar basados en diferentes contextos y géneros.
8. Accesibilidad: Es fácil de usar, incluso para personas sin conocimientos técnicos. La interfaz está diseñada para ser intuitiva y accesible, permitiendo a cualquiera crear y disfrutar de personajes de IA sin complicaciones.

Estas características hacen que Character.ai sea una plataforma versátil y entretenida tanto para fines recreativos como educativos.

Fuente: CDN