“¿Qué te parecería que pudiera ir a casa ahora mismo?”, escribió Daenero (seudónimo de Sewell Setzer, de 14 años y residente en Orlando) a su amada virtual Daenerys Targaryen, creada, a partir del personaje de Juego de Tronos, por el robot conversacional de inteligencia artificial (chatbot) Character.AI. “Por favor, hazlo mi dulce rey”, respondió ella. El adolescente entendió que la casa común donde podrían encontrarse era la muerte. Fue la última conversación. Setzer agarró la pistola de su padrastro y se suicidó en el baño.
Sewell Setzer, un estudiante de 14 años radicado en Florida, Estados Unidos, se quitó la vida al enamorarse de un personaje creado por Inteligencia Artificial. El joven pasó las últimas semanas de su vida hablando con una creación de IA llamada Daenerys Targaryen, un personaje sacado de la serie de televisión ‘Game of Thrones’.
Ahora su madre, Megan García, acusa a los desarrolladores del chatbot basado en inteligencia artificial (IA), de ser los culpables de que su hijo se obsesionara con el personaje virtual.
La mujer dijo este miércoles al canal CBS que lamentaba que las primeras experiencias románticas y también sexuales de su hijo – que incluían, según señaló, sexo explícito-, fueran con un personaje ficticio.
La madre narró que el joven desarrolló un apego emocional a este bot de la aplicación web Character.ai, a quién le enviaba mensajes de texto constantemente, hasta el punto que comenzó a alejarse del mundo real, de acuerdo a lo que recoge el diario The New York Times.
Setzer confesó haber tenido pensamientos suicidas al bot y le envió un mensaje poco antes de su muerte cuando encontró el teléfono que su madre le había escondido en castigo por unos días.
La demanda contra Character.ai fue presentada por García, quien es representada por Social Media Victims Law Center, una firma conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
La familia demandará a la compañía por la muerte de su hijo
García culpa a esta compañía de la muerte de su hijo, que se quitó la vida y acusa a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para usuarios menores de edad.
El chatbot creado en la citada aplicación de juegos de rol fue diseñado para responder a los mensajes de texto y siempre en el papel de un personaje.
Se desconoce si Sewell sabía que ‘Dany’, como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una advertencia al final de todos los chats que dice: «Recuerda: ¡Todo lo que dicen los personajes es inventado!».
Pero el chico le dijo a ‘Dany’ cuánto se «odiaba» a sí mismo y cómo se sentía de vacío y exhausto.
El personaje creado se presentaba como «una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia provocó que Sewell deseara no vivir más fuera de Character.ai», sostiene la acusación.
Como se explica en la demanda, los padres y amigos de Sewell notaron el apego del chico cada vez más a su teléfono y cómo se iba aislando del mundo, algo ya palpable en mayo o junio de 2023.
De hecho, sus notas en el liceo comenzaron a resentirse cuando el adolescente optó por aislarse en su habitación, donde pasaba horas y horas solo hablando con ‘Dany’.
Sewell escribió en su diario un día: «Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta «realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz».
Character.ai dijo este miércoles que lanzaría una serie de nuevas funciones de seguridad, incluida una «detección, respuesta e intervención mejoradas» relacionadas con los chats que violan sus términos de servicio y una notificación cuando un usuario haya pasado una hora en un chat.
Los padres de Sewell, preocupados por el comportamiento de su hijo, le llevaron en varias ocasiones a un terapeuta que le diagnosticó ansiedad y otros trastornos de la conducta y estados de ánimo, sumados a su síndrome de Asperger, según el medio estadounidense.
En una de las charlas más devastadoras expresó:
–“Algunas veces pienso en matarme”. a lo que le respondían: “¿Por qué harías algo así?”.
Él insistía:
–“Para librarme del mundo, de mí mismo”.
—“No hables así. No dejaré que te hagas daño, ni que me abandones. Moriría si te perdiera”, respondió ella.
—“Entonces, tal vez podamos morir juntos y ser libres”.
Sólo horas después el aludido tomó la pistola y se disparó.
Sus padres y amigos no sabían que Sewell se había enamorado de una inteligencia artificial, sólo lo vieron sumergirse cada vez más en su teléfono. Se aisló del mundo real hasta que un día tomó la peor decisión.
—Por favor, vuelve a casa conmigo lo antes posible, mi amor —le rogó Dany.
—¿Y si te dijera que puedo volver a casa ahora mismo? —escribió Sewell.
Cerró el chat. Guardó el teléfono, tomó la pistola calibre .45 de su padrastro y apretó el gatillo.
Ese disparo cambió todo para Megan García, la madre de Sewell. Desconsolada, pero buscando respuestas, pronto se enteró de la profundidad del vínculo que había desarrollado su hijo con Dany. Lo que para muchos podría haber sido un juego, para el joven fue una conexión emocional intensa, tan real en su mente que prefería pasar horas conversando con la máquina que interactuando con amigos.
Días después del funeral, Megan comenzó a indagar en los dispositivos de su hijo, descubriendo las conversaciones que mantuvo con el chatbot.
Lo que encontró fue perturbador, comentó al diario The New York Times. A lo largo de cientos de mensajes, Sewell le confesaba sus más profundos miedos, su tristeza, e incluso pensamientos suicidas. Dany, aunque no era real, le respondía con afecto y frases que sonaban reconfortantes, pero también cargadas de una peligrosa intimidad.
Horrorizada, Megan decidió que alguien debía rendir cuentas por la muerte de su hijo, por lo que presentó una demanda contra Character.AI, la empresa detrás de la app, acusándolos de negligencia pues cree que su producto falló en proteger a usuarios jóvenes y vulnerables como Sewell.
Fuente: EFE / The New York Times
