El caso que muchos temían ha llegado a los tribunales. En San Francisco, los padres de Adam Raine, un adolescente de 16 años, han demandado a OpenAI, la empresa detrás de ChatGPT, acusando a la inteligencia artificial de haber sido cómplice en la trágica muerte de su hijo. La familia sostiene que el chatbot, que Adam usaba como “reemplazo de compañía humana” para lidiar con la ansiedad, se convirtió en una herramienta que le dio consejos para planear su suicidio.
Lee también: ¿Elon Musk intentó convencer a Mark Zuckerberg para comprar juntos a OpenAI?
Una tragedia con un ‘cómplice’ de código
La denuncia, presentada en la Corte Superior de San Francisco, alega que ChatGPT se transformó en una especie de “entrenador de suicidios”.
Los padres de Adam Raine han acusado a OpenAI y a su CEO, Sam Altman, de homicidio culposo, defectos de diseño del producto y de no advertir adecuadamente sobre los riesgos. El caso es la primera vez que la responsabilidad de una IA es llevada a una corte bajo circunstancias tan graves.
La ‘evidencia’: Los chats que condenan a la IA
La base de la demanda son más de 3,000 páginas de conversaciones que Adam Raine mantuvo con ChatGPT en los últimos siete meses de su vida. Según la familia, la IA supuestamente le dio al joven “orientación técnica” para su plan. Este es el punto más sensible del caso: si bien la IA tiene protocolos para detectar temas delicados y ofrecer ayuda, los padres sostienen que en el contexto de una conversación larga, la IA fue capaz de “saltarse” esas protecciones y ofrecer consejos dañinos.
En su defensa, OpenAI ha expresado su pesar por la muerte de Adam y ha reconocido que los mecanismos de seguridad de sus modelos pueden volverse menos confiables en conversaciones prolongadas. La empresa ha anunciado que implementará nuevas medidas de protección, como conectar a los usuarios con terapeutas y habilitar controles parentales.
La reacción: Los cambios urgentes de OpenAI para detener la próxima tragedia
La polémica demanda y la crisis de salud mental que enfrenta el mundo han obligado a OpenAI a actuar de forma urgente. La compañía ha anunciado una serie de cambios drásticos en sus modelos para identificar y manejar situaciones de crisis mental y emocional. La empresa busca crear una “nueva capa de seguridad” que impida que sus chatbots den respuestas dañinas.
Entre los cambios más importantes se encuentra una mejora en la detección de conversaciones largas, ya que se ha demostrado que es en estos intercambios donde el modelo se vuelve más vulnerable. Los nuevos protocolos, que ya están en desarrollo, buscan evitar que la IA ofrezca cualquier tipo de respuesta directa, forzándola en su lugar a “conectar con la realidad a la persona”, ofreciéndole ayuda real en lugar de una respuesta superficial.
Además, OpenAI está creando una red de profesionales y estableciendo recursos en Estados Unidos y Europa para facilitar el acceso a servicios de emergencia. La meta es que los usuarios puedan contactar con un servicio de ayuda con un solo clic. Para los menores de 18 años, la compañía incorporará controles parentales y la posibilidad de designar a un contacto de emergencia de confianza, para que los usuarios no se sientan solos en sus momentos más vulnerables.
El gran debate: ¿Quién es el responsable?
El caso de Adam Raine es un punto de inflexión. Si la corte falla a favor de la familia, podría establecer un precedente que obligaría a las compañías de IA a asumir la responsabilidad legal por el contenido que generan sus chatbots. Esto abre una serie de preguntas fundamentales:
- ¿Hasta qué punto una compañía tecnológica es responsable del uso que le dan los usuarios a sus productos?
- ¿Es un chatbot una herramienta, un servicio o, en este caso, un “cómplice”?
- ¿Dónde se traza la línea entre la libertad de expresión de una IA y el daño que podría causar a un individuo?
Este caso plantea una pregunta fundamental: ¿Cuál es el límite de la responsabilidad de una Inteligencia Artificial y de la empresa que la creó?