Personality.AI, que fuera una de las nuevas empresas de inteligencia man made más prometedoras de Silicon Valley, anunció el jueves nuevas medidas de seguridad para proteger a los usuarios adolescentes mientras enfrenta acusaciones de que sus chatbots contribuyeron al suicidio y autolesiones de jóvenes.
En una demanda presentada en octubre en el estado de Florida, una madre afirmó que la plataforma es responsable del suicidio de su hijo de 14 años.
El adolescente, Sewell Setzer III, había mantenido una relación íntima con un chatbot basado en el personaje de «Juego de Tronos» Daenerys Targaryen, y mencionó su deseo de suicidarse.
Según la denuncia, el robot animó su acto final, respondiendo «por want, mi dulce rey» cuando dijo que «volvería a casa» antes de quitarse la vida con el arma de su padrastro.
Personality.AI «hizo todo lo posible para diseñar la dañina dependencia de Sewell (…), abusó sexual y emocionalmente de él y, finalmente, no le ofreció ayuda ni notificó a sus padres cuando expresó ideas suicidas«, cube la denuncia.
Otra demanda, presentada en Texas el lunes, involucra a dos familias que alegan que la plataforma expuesto a sus hijos a contenido sexual y fomentó autolesiones.
Un caso involucró a un adolescente autista de 17 años que supuestamente sufrió una disaster de salud psychological después de usar la plataforma.
Otra denuncia alega que Personality.AI alentó a un adolescente a matar a sus padres por limitar su tiempo frente a la pantalla.
En respuesta, Personality.AI anunció que había desarrollado un modelo de IA separado para usuarios menores de 18 años, con filtros de contenido más estrictos y respuestas más mesuradas.
La plataforma marcará automáticamente el contenido relacionado con el suicidio y dirigirá a los usuarios a la Línea Nacional de Prevención del Suicidio.
Personality.AI planea igualmente introducir controles parentales desde principios de 2025, lo que permitirá supervisar el uso por parte de los niños de la plataforma.
Para los bots que incluyen descripciones como terapeuta o médico, una nota especial advertirá que no reemplazan el asesoramiento profesional.
Ambas demandas mencionan a los fundadores de Personality.AI y a Google, inversor en la empresa.
Los fundadores, Noam Shazeer y Daniel de Freitas Adiwarsana, regresaron a Google en agosto como parte de un acuerdo de licencia de tecnología con Personality.AI.
El portavoz de Google, José Castañeda, dijo en un comunicado que Google y Personality.AI son empresas completamente separadas y no relacionadas.
«La seguridad del usuario es una de nuestras principales preocupaciones», añadió.
