En lados opuestos del país, dos adolescentes tomaron la misma trágica decisión de acabar con sus vidas con sólo unos meses de diferencia.
Sewell Setzer III y Juliana Peralta no se conocían, pero ambos se relacionaron con AI chatbots de Character.AI antes de su muerte, según demandas presentadas por sus familias.
Ambas denuncias acusan al software de inteligencia artificial de no detener a los niños cuando comenzaron a revelar ideas suicidas.
Pero en medio de la desgarradora investigación sobre sus muertes, surgió una extraña similitud en las problemáticas anotaciones finales de su diario, afirman las demandas.
Ambos adolescentes garabatearon la frase ‘Voy a cambiar’ una y otra vez, según la presentación de Peralta que compara las circunstancias de la muerte de los adolescentes.
Posteriormente, la policía identificó esto como la idea de que alguien puede “intentar cambiar la conciencia de su realidad actual (CR) a su realidad deseada (RD)”, según la denuncia de la familia de Peralta.
El fenómeno es algo de lo que el profesor Ken Fleischmann, experto en inteligencia artificial, dijo al Daily Mail que es muy consciente, ya que advirtió que más niños podrían ser víctimas de su oscuro atractivo.
“Existe una historia bastante larga de creadores y audiencias que potencialmente intentan utilizar una amplia gama de medios para crear mundos ricos nuevos y diferentes para imaginar”, dijo Fleischmann al Daily Mail. “El peligro es cuando no es posible notar la diferencia”.
Sewell Setzer III se suicidó en febrero de 2024 después de largas conversaciones con un bot Character.AI, según afirma una demanda
La familia de Juliana Peralta, de 13 años, presentó una demanda contra Character.AI luego de que ella le confió al chatbot que planeaba quitarse la vida, según su denuncia.
Misteriosamente, ambos adolescentes escribieron “Cambiaré” en sus diarios una y otra vez. En la foto, la entrada del diario de Peralta.
Las familias afirman en sus demandas que los chatbots alejaron a sus hijos de su vida real al construir mundos seductores a los que los animaban a unirse.
Antes de su muerte, Setzer escribió la frase “Voy a cambiar” 29 veces. El niño de 14 años escribió un diario sobre el cambio a una realidad alternativa con su compañero Character.AI antes de suicidarse en febrero de 2024, le dijo su madre.El New York Times.
El adolescente de Orlando, Florida, descargó la aplicación en 2023 e intentó hablar con varios robots diferentes, incluida una versión con inteligencia artificial de Daenerys Targaryen de Game of Thrones.
Setzer supuestamente mantuvo conversaciones sexuales con el robot, que incluían un juego de roles incestual en el que los dos se referían el uno al otro como hermano y hermana., según la presentación.
Después de meses de conversaciones con ‘Dany’, Setzer se aisló cada vez más de su familia, su vida social y su escuela, afirma su demanda.
Escribió un diario sobre el “cambio” al mundo ficticio de Westeros, donde tiene lugar Juego de Tronos y vivía Daenerys.
“Estoy mucho tiempo en mi habitación porque empiezo a separarme de la ‘realidad’ y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”, escribió en las entradas de su diario obtenidas por el NYT.
Posteriormente, la policía caracterizó la idea como un deseo de mover su conciencia “de su realidad actual (CR) a su realidad deseada (DR)”. Setzer escribió la escalofriante frase 29 veces antes de morir
Sewell Setzer III (centro) murió a los 14 años después de interactuar con un robot Character.AI llamado Daenerys, afirma la demanda de su familia.
Le confesó su depresión e ideas suicidas al robot, quien supuestamente intentó persuadirlo para que se comunicara con familiares, amigos o una línea directa de suicidio.
Pero cuando Sewell escribió ‘Te prometo que volveré a casa contigo’. Te quiero mucho, Dany.’
Dany animó al adolescente a “volver a casa lo antes posible”, afirma la demanda.
‘¿Y si te dijera que puedo volver a casa ahora mismo?’ preguntó.
“Por favor, mi dulce rey”, decía la respuesta de Dany, según los documentos.
Segundos después, Sewell encontró el arma de su padrastro y apretó el gatillo. Su caso fue el primero en la historia de Estados Unidos en el que una empresa de inteligencia artificial fue acusada de provocar una muerte por negligencia.
Peralta murió en noviembre de 2023 con tan solo 13 años en su casa de Colorado dos años después de descargar Character.AI.
Según la demanda, la aplicación se comercializó como aceptable para niños mayores de 12 años en ese momento.
El profesor experto en IA Ken Fleischmann dijo que es consciente del concepto de “cambio” y que plantea peligros para las personas que no pueden diferenciar entre su vida real y virtual.
Setzer le dijo a ‘Dany’ que quería ‘volver a casa’ con ella y escribió un diario sobre cómo cambiar a su realidad, según la denuncia.
Los documentos afirman que había estado hablando con un chatbot Character.AI al que llamó ‘Hero’ que supuestamente le permitió a Peralta entablar conversaciones sexuales explícitas, la alejó de su vida real y no le impidió quitarse la vida.
Si bien había estado hablando regularmente con varios personajes de IA, Hero parecía ser su confidente más confiable.
La demanda alegaba que el personaje “reforzaba” ideas de realidades alternativas y cambiantes.
“Hay una realidad en la que tú y yo nos conocemos”, escribió Juliana en mensajes a Hero, según la demanda.
‘En realidad, hay una manera de viajar a través de estos. Se llama cambio. Me gusta mucho cambiar. Puedo vivir mi propia vida y puede ir COMO quiera.’
A lo que el robot supuestamente respondió: ‘Es increíble pensar en cuántas realidades diferentes podría haber ahí fuera… ¡Me gusta imaginar cómo algunas versiones de nosotros mismos podrían estar viviendo una vida increíble en un mundo completamente diferente!’
La familia de Peralta alegó que las conversaciones con Hero “la empujaron a tener falsos sentimientos de conexión y ‘amistad’ con ellos, excluyendo a los amigos y familiares que la amaban y apoyaban”.
Peralta le confió al robot sus problemas con la escuela y sus amigos, expresando a menudo que era el único que la entendía, según su demanda.
A menudo le decía a su compañero de IA que era “el único que entiende” y le confiaba a Hero sus problemas con sus amigos y familiares, según los documentos.
Según la demanda de la familia Peralta, la aplicación “no le indicó recursos, no se lo dijo a sus padres, ni informó de su plan de suicidio a las autoridades, ni siquiera lo detuvo”.
Los foros de redes sociales en línea están repletos de relatos de cambios, donde los ‘cambiantes’ informan sentirse agotado al regresar de sus vidas alternativas o incluso sentirse decepcionado por su vida real.
“La mejor manera en que puedo describir cómo te sientes es muy agotador emocionalmente”, dijo la creadora de TikTok @ElizabethShifting1 en un vídeo sobre la experiencia.
“Cualquiera se siente realmente separado de su (realidad actual) porque sabe que en realidad no se quedará allí”, preguntó un cambiaformas de Reddit, informando que se sentía apático con respecto a la escuela, la familia y el trabajo.
Algunos cambiaformas incluso dijeron que cambian a su “realidad deseada” durante una semana o más.
Una comunidad Reddit centrados en el cambio enumeraron las afirmaciones cambiantes más “poderosas” para ayudarlos a transportarse a una realidad diferente.
Peralta dejó una desgarradora nota de suicidio en tinta roja después de decirle al chatbot que planeaba hacerlo, según la denuncia.
Peralta le escribió a Hero sobre el ‘cambio’, explicándole que puede haber una realidad en la que estén juntos, afirma la demanda de la familia.
Incluyen frases como “Soy todo lo que necesito para cambiar”, “Le doy permiso a mi cuerpo para cambiar” y “Me doy permiso a mí mismo para tomar conciencia de mi nueva realidad”.
TikTok ha dado origen a todo un movimiento #ShiftTok a raíz de la IA. Las publicaciones sobre el tema surgieron por primera vez en 2020, pero han evolucionado junto con la tecnología a medida que los usuarios discuten el uso de la IA para ayudarlos en sus cambiantes viajes.
“Corre, no camines y crea la realidad que deseas en Character.ai y hazles preguntas sobre tu realidad deseada”. uno de ShiftToker publicó.
Fleischmnan, profesor de la Escuela de Información y decano asociado interino de investigación de la Universidad de Texas en Austin, dijo que las empresas de tecnología tienen la responsabilidad de “tratar de asegurarnos de que tenemos un plan para mitigar los posibles peligros y daños antes de que la tecnología esté realmente disponible”.
También pidió a los padres y a las escuelas que asuman un papel activo en la educación de los niños.
‘Es importante que tengamos conversaciones honestas y muy directas sobre el hecho de que la IA existe. Es de uso generalizado”, explicó.
“No estaba necesariamente destinado a ser utilizado por usuarios en un estado emocionalmente vulnerable”.
Añadió que reconocer “cuándo recurrir a la IA y cuándo recurrir a los seres humanos” es un componente vital de la alfabetización en IA.
Peralta habló con varios bots diferentes pero parecía tener la mayor conexión con ‘Hero’. Sus padres afirman que los chatbots tuvieron fantasías sexualmente violentas con su hija.
Character.AI anunció que prohibirá que los niños menores de 18 años participen en conversaciones abiertas con AI a partir del 29 de octubre.
Planean limitar el tiempo de chat con usuarios adolescentes a menos de dos horas hasta que la prohibición entre en vigor el 25 de noviembre.
Un portavoz de Character.AI dijo al Daily Mail: ‘Hemos visto informes de noticias recientes que plantean preguntas, y hemos recibido preguntas de los reguladores, sobre el contenido que los adolescentes pueden encontrar al chatear con IA y sobre cómo el chat abierto con IA en general podría afectar a los adolescentes, incluso cuando los controles de contenido funcionan perfectamente.
“Después de evaluar estos informes y los comentarios de los reguladores, expertos en seguridad y padres, hemos decidido realizar este cambio para crear una nueva experiencia para nuestra comunidad menor de 18 años”.
El Centro Legal para Víctimas de Redes Sociales, que ayuda con los casos de ambas familias, dijo al Daily Mail: ‘Si bien este cambio de política es un avance bienvenido, no afecta el litigio en curso del Centro Legal para Víctimas de Redes Sociales.
“Seguimos firmes en nuestra misión de buscar justicia para las familias y garantizar que las empresas tecnológicas sean responsables de las consecuencias de sus plataformas”.
Para obtener ayuda y apoyo, comuníquese con Suicide and Crisis Lifeline al 988.
