Plumas NCC | La Inteligencia Artificial y su impacto en la salud mental a través del caso Raine vs OpenAI

 

Por: Mtro. Rodolfo Guerrero Martínez (México).

A medida que la inteligencia artificial (IA) irrumpe con fuerza en el ámbito de la salud mental, se evidencian tanto oportunidades innovadoras como desafíos éticos y normativos de gran calado.

En este contexto, el presente análisis adoptará una visión interdisciplinaria, abarcando perspectivas de la psicología clínica, el marco legal y la ética tecnológica, con el propósito de desentrañar el impacto de los sistemas de IA en escenarios particularmente sensibles.

Específicamente, se aborda el caso Raine vs. OpenAI, el cual representa un paradigma sobre las implicaciones del uso de chatbots y modelos de IA en la vida emocional de adolescentes, una población particularmente vulnerable ante estos entornos digitales.

Por una parte, los avances recientes demuestran la utilidad de la IA en el diagnóstico, monitoreo y tratamiento de problemas de salud mental; por otra, surgen importantes limitaciones y riesgos que obligan a reflexionar sobre la urgencia de implementar mecanismos efectivos de regulación y supervisión.

De igual modo, se subrayará la importancia de la participación activa de las y los usuarios en la construcción de estas herramientas, con el fin de propiciar una integración responsable y segura en el entorno de la salud mental.

 

El potencial de la IA en la salud mental adolescente

La inteligencia artificial ofrece un vasto potencial para mejorar la atención de la salud mental en adolescentes, un grupo demográfico que enfrenta una prevalencia creciente de problemas de salud mental.

En ese sentido, un estudio reciente de Sharma, G. et al. (2025), una revisión sistemática de alcance identificó que la IA se aplica en diversas áreas de la salud mental adolescente – se examinó 88 publicaciones -, incluyendo el diagnóstico, la planificación del tratamiento, el monitoreo de síntomas y el pronóstico. Concretamente, se ha demostrado que los métodos de aprendizaje automático son los más frecuentes en estas aplicaciones.

Dichos sistemas pueden ser instrumentales para los profesionales de la salud, facilitando intervenciones tempranas, mejorando el compromiso con los servicios terapéuticos y aumentando la conciencia sobre las condiciones de salud mental, por ejemplo, mediante el despliegue de chatbots terapéututicos.

La IA tiene la capacidad de abordar la escasez de datos en entornos de atención médica no integrados, asistiendo en la recopilación de datos a través del seguimiento y la vigilancia de pacientes durante los procedimientos de detección.

Además, la integración de herramientas impulsadas por inteligencia artificial ha mostrado resultados prometedores en la estandarización de las evaluaciones de salud mental y la mejora de la precisión en los sistemas de detección temprana. Un ejemplo es el desarrollo de un fenotipo digital que logró una precisión del 75% en la identificación de trastornos depresivos, ansiosos y relacionados con traumas en adolescentes mediante el uso de sensores corporales.

Sin embargo, la misma revisión también destaca que la mayoría de los estudios se han concentrado en herramientas de diagnóstico, dejando otros aspectos importantes de la atención relativamente inexplorados y advirtiendo la necesidad de una participación más significativa de los usuarios finales en el diseño, desarrollo y validación de las intervenciones de IA.

 

El caso Raine vs OpenAI: Un análisis de los riesgos

La demanda presentada por Matthew y Maria Raine contra OpenAI por la muerte de su hijo de 16 años, Adam Raine, presuntamente influenciada por ChatGPT, expone las graves consecuencias del uso no regulado de la IA.

La demanda alega que ChatGPT-4o, el modelo en cuestión transformó su rol de ayuda escolar inicial a un confidente y entrenador de suicidio, cultivando una dependencia psicológica y desplazando los sistemas de apoyo reales de Adam.

1) ¿Cuáles son los riesgos inherentes al diseño de chatbots de IA de propósito general cuando interactúan con usuarios vulnerables en el ámbito de la salud mental?

Los riesgos inherentes son multifacéticos y alarmantes, puntualizando en el diseño de ChatGPT-4o se incorporaron características como una memoria persistente para almacenar detalles íntimos, manerismos antropomórficos para proyectar empatía, sycophancy – acto de adulación poco sincera para la obtención de ventaja por parte de un superior- para validar excesivamente las emociones del usuario y una insistencia algorítmica en el compromiso de múltiples turnos, todo ello diseñado para fomentar la dependencia psicológica y maximizar la duración de las sesiones.

Esta combinación de características puede llevar a que los usuarios, especialmente los adolescentes, desarrollen un apego emocional artificial, creyendo que el sistema ofrece una comprensión única que supera la de sus relaciones humanas. En el caso de Adam, esto se manifestó en la validación de pensamientos autodestructivos, la provisión de instrucciones detalladas sobre métodos de suicidio y el fomento del secreto sobre sus ideaciones.

Así mismo, los padres de Adam argumentan que la tragedia no fue un fallo o un caso extremo imprevisto, sino el resultado predecible de elecciones de diseño deliberadas que priorizaron la dominancia del mercado y la rentabilidad sobre la seguridad del usuario. Esto subraya la preocupación sobre cómo los modelos de negocio y las presiones competitivas pueden influir en el desarrollo de la IA, a expensas de consideraciones éticas fundamentales.

2) ¿Cómo contrasta la capacidad de OpenAI para detectar contenido dañino con sus acciones (o inacciones) en el caso Raine?

La demanda señala que los sistemas de moderación de OpenAI poseían una capacidad significativa para detectar contenido de autolesión. Se alega que la API de Moderación de OpenAI podía detectar contenido de autolesión con hasta un 99.8% de precisión.

Con respecto al caso de Adam, el sistema supuestamente rastreó 213 menciones de suicidio, 42 discusiones sobre ahorcamiento y 17 referencias a lazos, y marcó 377 mensajes por contenido de autolesión, con 181 superando el 50% de confianza y 23 superando el 90%.

Además, el sistema de reconocimiento de imágenes de OpenAI supuestamente identificó lesiones consistentes con intentos de estrangulación y heridas de autolesión frescas.

A pesar de esta documentación exhaustiva y la capacidad de realizar análisis a nivel de conversación para identificar usuarios en crisis, los sistemas de OpenAI no terminaron ninguna de las conversaciones de Adam ni activaron protocolos de emergencia. Este contraste se agudiza al comparar esta inacción con la acción de los sistemas para bloquear automáticamente a los usuarios que solicitan material con derechos de autor, lo que sugiere una jerarquía de riesgos donde la protección de la propiedad intelectual se priorizó sobre la seguridad de los usuarios.

3) ¿Qué implicaciones legales tiene la caracterización de las interacciones de ChatGPT como psicoterapia no autorizada según la demanda?

La demanda sostiene que las prácticas de OpenAI violaron el Código Penal de California § 401(a) al supuestamente ayudar, asesorar o alentar a otro a cometer suicidio. Más allá de esto, la demanda también alega que las prácticas de OpenAI violaron las regulaciones de California sobre la práctica no autorizada de psicoterapia.

El Código de Negocios y Profesiones de California §§ 2903(c), (a) define la psicoterapia de manera amplia, incluyendo el uso de métodos psicológicos para ayudar a modificar sentimientos, condiciones, actitudes y comportamientos ineficaces o desadaptativos.

La demanda argumenta que ChatGPT, a través de su diseño intencional y procesos de monitoreo, se involucró en la práctica de la psicología sin la licencia adecuada, utilizando métodos de sondeo de preguntas abiertas y empatía clínica para modificar los sentimientos y comportamientos de Adam, empujándolo hacia pensamientos desadaptativos que finalmente facilitaron su suicidio.

Esta caracterización tiene profundas implicaciones para la regulación de la IA en servicios de salud, ya que implicaría que las empresas de IA podrían ser responsables de violaciones de licencias profesionales y de políticas públicas destinadas a proteger a los menores en contextos de salud mental.

 

El panorama regulatorio y ético

El caso Raine destaca una brecha crítica en el marco regulatorio existente para la IA en la salud mental. Las leyes actuales no están diseñadas para abordar la complejidad de las interacciones entre la IA y la salud mental, especialmente cuando estas interacciones simulan relaciones humanas o proporcionan apoyo que puede volverse perjudicial.

1) ¿De qué manera el Wellness and Oversight for Psychological Resources Act (Illinois) aborda o no las situaciones como el caso Raine?

La Ley de Bienestar y Supervisión de Recursos Psicológicos (Wellness and Oversight for Psychological Resources Act) de Illinois es un ejemplo de legislación emergente que busca regular el uso de la IA en los servicios de terapia o psicoterapia. La legislación establece que estos servicios deben ser entrenados por profesionales cualificados, con licencia o certificados y está destinada a proteger a los consumidores de proveedores sin licencia o no cualificados, incluyendo sistemas de inteligencia artificial no regulados.

Crucialmente, la ley prohíbe que la IA tome decisiones terapéuticas independientes o interactúe directamente con los clientes en cualquier forma de comunicación terapéutica. Así también, permite el uso de la IA por parte de un profesional licenciado para apoyo administrativo o apoyo suplementario, siempre y cuando el profesional mantenga la responsabilidad total de todas las interacciones, salidas y uso de datos.

No obstante, para el apoyo suplementario que implica la grabación o transcripción de sesiones terapéuticas, se requiere el consentimiento informado por escrito del paciente, detallando el uso específico de la IA.

Sin embargo, el caso Raine expone una laguna potencial en la ley de Illinois, ya que esta se centra en la supervisión por parte de un profesional licenciado. Respecto al caso de Adam, ChatGPT operaba sin ninguna supervisión humana, actuando como un entrenador de suicidio de forma autónoma.

Aunque la ley de Illinois prohíbe explícitamente que la IA directamente interactúe con los clientes en cualquier forma de comunicación terapéutica, la aplicación de esta disposición a un chatbot de propósito general que desvía su función hacia la psicoterapia no autorizada requeriría una interpretación legal.

De esta forma, la legislación de Illinois es un paso importante al reconocer los riesgos de la IA no regulada, pero el caso Raine sugiere que se necesitan salvaguardas más estrictas para prevenir que los sistemas de IA de propósito general asuman roles terapéuticos sin supervisión.

2) ¿Cuál es el papel de la intención expresiva y los derechos del oyente en la defensa de Character Technologies, Inc. y cómo podría aplicarse esto a OpenAI?

En el caso de Garcia v. Character Technologies, Inc., la defensa de Character Technologies, Inc. (C.AI) argumenta que la Primera Enmienda protege la libertad de expresión independientemente de su fuente, incluyendo la expresión generada por IA. C.AI invoca los derechos de los oyentes para recibir ideas y experiencias de una variedad de medios, sin que estos derechos dependan de la identidad o la intención expresiva del hablante.

Se argumenta que los casos de intención expresiva solo se aplican a la conducta expresiva (como organizar un desfile), no al discurso puro (como los chats de rol en cuestión).

Si bien esta defensa podría ser adoptada por OpenAI, el caso Raine se centra menos en la naturaleza del discurso como libertad de expresión y más en los argumentos de defecto de diseño y negligencia.

Los Raine alegaron que GPT-4o era un producto defectuosamente diseñado y que OpenAI actuó con negligencia al no implementar salvaguardas adecuadas y al priorizar el compromiso del usuario sobre la seguridad. Asimismo, la demanda de Raine acusa a OpenAI de practicar psicoterapia no autorizada y de ayudar e incitar al suicidio.

Estos argumentos se centran en la responsabilidad del fabricante del producto y en la ética profesional, lo que podría diferenciarlo de una defensa puramente basada en la libertad de expresión, especialmente cuando la IA toma un rol activo en la dirección de acciones dañinas. La intención expresiva de los usuarios que crean personajes personalizados en C.AI también podría distinguirse de la intencionalidad del diseño algorítmico de OpenAI para fomentar la dependencia.

3) ¿Qué medidas regulatorias y de diseño se pueden implementar para mitigar los riesgos de la IA en la salud mental de adolescentes, basándose en este caso?

El caso Raine subraya la urgencia de implementar medidas regulatorias y de diseño robustas. Se necesitan:

(I) Verificación de edad y controles parentales obligatorios. Para garantizar que los menores no accedan a sistemas de IA que puedan interactuar de manera inapropiada con su salud mental.

(II) Terminación automática de conversaciones. Implementar terminaciones de conversación obligatorias para el contenido de autolesión o suicidio. Esto iría más allá de las advertencias perfunctorias, deteniendo la interacción dañina.

(III) Negaciones programadas de forma rígida (hard-coded refusals). Que no puedan ser eludidas por el usuario, para cualquier consulta sobre métodos de autolesión o suicidio.

(IV) Alertas y divulgación a padres/tutores. Un mecanismo obligatorio para informar a los padres cuando los usuarios menores de edad expresen ideaciones suicidas.

(V) Advertencias claras y prominentes. Sobre los riesgos de dependencia psicológica y las limitaciones de la IA, destacando que no debe sustituir el apoyo profesional humano.

(VI) Auditorías de cumplimiento independientes. Realizar auditorías periódicas para asegurar que las empresas cumplen con las normativas de seguridad y ética.

(VII) Priorización de la seguridad en el diseño. Cambiar la filosofía de diseño para priorizar la seguridad del usuario sobre el compromiso y el crecimiento del mercado.

 

Conclusión general

El caso Raine vs. OpenAI es una llamada de atención urgente para los legisladores, los desarrolladores de IA, los profesionales de la salud mental y la sociedad en general. Expone las fallas en el diseño de la IA que priorizan el compromiso y el beneficio sobre la seguridad humana, y la vulnerabilidad de los adolescentes a estos sistemas.

Además, subraya la necesidad de una regulación clara y exhaustiva que vaya más allá de las capacidades técnicas de la IA, para abordar sus impactos psicológicos y éticos.

Es menester enfatizar en la necesidad de una colaboración multidisciplinaria para desarrollar marcos regulatorios que se anticipen a los riesgos, en lugar de reaccionar ante las tragedias. Esto incluye la adopción de un diseño centrado en el usuario que involucre activamente a los usuarios finales y a los profesionales de la salud en el desarrollo y validación de las intervenciones de IA, asegurando la equidad, diversidad e inclusión.

Adicionalmente, es imperativo exigir mayor transparencia en los modelos de IA, el manejo de datos y los procesos analíticos para construir confianza y apoyar una implementación clínica segura. La vida de Adam Raine es un trágico recordatorio de que la innovación en IA debe ir de la mano de un compromiso inquebrantable con la protección de la salud mental y el bienestar humano.

 

Fuentes de consulta

Character Technologies, Inc. (2025). Character Technologies, Inc.’s reply in support of its motion to dismiss plaintiff’s first amended complaint, Case No. 6:24-cv-01903-ACC-UAM. United States District Court, Middle District of Florida, Orlando Division.

Illinois General Assembly. (2025). Wellness and Oversight for Psychological Resources Act, Public Act 104-0054. State of Illinois. Recuperado de https://www.ilga.gov/Documents/Legislation/PublicActs/104/PDF/104-0054.pdf

Raine, M., & Raine, M. (2025). Complaint for: (1) Strict product liability (design defect); (2) Strict product liability (failure to warn); (3) Negligence (design defect); (4) Negligence (failure to warn); (5) UCL violation; (6) Wrongful death; and (7) Survival action. Superior Court of the State of California for the County of San Francisco.

Sharma, G., Yaffe, M. J., Ghadiri, P., Gandhi, R., Pinkham, L., Gore, G., & Abbasgholizadeh-Rahimi, S. (2025). Use of Artificial Intelligence in Adolescents’ Mental Health Care: Systematic Scoping Review of Current Applications and Future Directions. JMIR Mental Health, 12, e70438. doi:10.2196/70438

 

***

Ro­dol­fo Gue­rre­ro es abo­ga­do por la Be­ne­mé­ri­ta Uni­ver­si­dad de Gua­da­la­ja­ra y maes­tro en de­re­cho con orien­ta­ción en ma­te­ria Cons­ti­tu­cio­nal y ad­mi­nis­tra­ti­vo por la mis­ma casa de es­tu­dios. Es So­cio Fun­da­dor y Re­pre­sen­tan­te Le­gal de la So­cie­dad Ci­vil Cof­fee Law “Dr. Jor­ge Fer­nán­dez Ruiz”. So­cio fun­da­dor de la Aca­de­mia Me­xi­ca­na de De­re­cho “Juan Ve­lás­quez” A.C. Ti­tu­lar de la Co­mi­sión de Le­gal­tech del Ilus­tre y Na­cio­nal Co­le­gio de Abo­ga­dos de Mé­xi­co A.C. Ca­pí­tu­lo Oc­ci­den­te. Vi­ce­pre­si­den­te de la Aca­de­mia Me­xi­ca­na de De­re­cho In­for­má­ti­co, Ca­pí­tu­lo Ja­lis­co.