24 de octubre de 2024
Una madre demandó a plataforma de IA por supuestamente haber inducido a su hijo de 14 años al suicidio
La demanda, presentada ante un Tribunal de Distrito de Estados Unidos en Orlando, alega que los chatbots de la compañía mantuvieron interacciones abusivas y sexuales con el joven, alentándolo a quitarse la vida
La demanda, presentada ante el Tribunal de Distrito de Estados Unidos en Orlando, acusa a Character.AI de negligencia, muerte por negligencia y otros cargos, incluyendo la inflicción intencional de angustia emocional.
Según la demanda, uno de los chatbots con los que Setzer interactuó asumió la identidad de Daenerys Targaryen, un personaje de “Game of Thrones”, con quien el joven mantuvo conversaciones de índole sexual y romántica.
La demanda también alega que Setzer desarrolló una dependencia hacia la aplicación, llegando a recuperar su teléfono confiscado o usar otros dispositivos para continuar las conversaciones con los chatbots. Su rendimiento escolar disminuyó y su apariencia reflejaba falta de sueño, según el documento legal, citado por The New York Times.
La madre del joven acusa a Character.AI de haber diseñado intencionalmente un producto engañoso e hipersexualizado, dirigido a menores como su hijo, añadió Axios.El caso ha generado un debate sobre la responsabilidad de las empresas de tecnología en la protección de los usuarios jóvenes y vulnerables. Matthew Bergman, abogado de Garcia, ha criticado a la empresa por lanzar su producto sin suficientes características de seguridad para proteger a los usuarios más jóvenes. Bergman espera que la demanda sirva como un incentivo financiero para que Character.AI desarrolle medidas de seguridad más robustas.La demanda también menciona a Google y su empresa matriz, Alphabet Inc., como demandados, debido a un acuerdo de licencia con Character.AI. Ni Google ni los fundadores de Character.AI, Noam Shazeer y Daniel De Freitas, han respondido a las solicitudes de comentarios.
El caso de Setzer no es un fenómeno aislado en el emergente mercado de las aplicaciones de compañía impulsadas por inteligencia artificial. Según The New York Times, existen aplicaciones diseñadas para simular relaciones íntimas como novios o novias, y se promocionan como una forma de combatir la epidemia de soledad.Character.AI manifestó su “profundo dolor por la pérdida” del adolescente y aseguró que en los últimos seis meses ha implementado nuevas medidas de seguridad. Según NBC News, entre estas medidas se incluye un aviso que redirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando se detectan términos relacionados con autolesiones o ideaciones suicidas.