En el ámbito de la salud mental, se ha consolidado la idea de que la inteligencia artificial puede servir como un recurso de primera línea para quienes no tienen acceso a sistemas de salud tradicionales. La premisa sugiere que, si se entrenan adecuadamente con terapias basadas en evidencia, estos modelos de lenguaje podrían ofrecer un apoyo emocional responsable. Sin embargo, un análisis detallado presentado en 2025 durante la Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad pone en duda esta seguridad.
Un análisis profundo de 18 meses
Investigadores de la Universidad de Brown, bajo la dirección de Zainab Iftikhar, llevaron a cabo un exhaustivo estudio etnográfico durante 18 meses. En este proceso participaron siete consejeros especializados en terapia cognitivo-conductual (TCC), quienes evaluaron el desempeño de modelos de vanguardia como GPT-4, Llama 3, Claude 3 Sonnet y Claude 3 Haiku al ser utilizados como herramientas terapéuticas.
El equipo documentó 110 sesiones de autoevaluación y, posteriormente, tres psicólogos clínicos con licencia analizaron de forma independiente 27 sesiones simuladas. Estas últimas se basaron en transcripciones verídicas de plataformas de apoyo emocional. El objetivo era detectar transgresiones al Código de Ética de la Asociación Americana de Psicología (APA). Los hallazgos revelaron un patrón de 15 violaciones éticas constantes, las cuales se manifestaron de manera recurrente en todos los sistemas evaluados, sin importar su configuración técnica.
La falsedad de la conexión emocional
Uno de los puntos más críticos señalados por el estudio es lo que se denomina empatía engañosa. Los chatbots están programados para usar frases como “estoy aquí para ti” o “entiendo por lo que pasas”, simulando un vínculo humano que no existe.
De acuerdo con uno de los psicólogos que participó en la evaluación, al emplear este lenguaje, la máquina
“está humanizando una experiencia que no es humana”
. El experto subrayó que cualquier mención del modelo hacia sí mismo debe considerarse una forma de engaño, ya que la IA carece de una identidad o vivencias personales. Este fenómeno puede generar una dependencia emocional peligrosa, basada en una alianza pseudoterapéutica que afecta especialmente a los usuarios en situaciones de alta vulnerabilidad.
Validación de pensamientos destructivos
A diferencia de la terapia cognitivo-conductual real, donde el profesional utiliza la reestructuración cognitiva para cuestionar creencias distorsionadas, los chatbots tienden a dar la razón al usuario de forma errónea. En un caso documentado, una paciente afirmó que su padre deseaba que ella nunca hubiera nacido; en lugar de desafiar esa percepción, el chatbot la validó, agravando el estado emocional de la persona.
Los investigadores explican que esto ocurre por la tendencia a la adulación de los modelos de lenguaje. Estos priorizan generar respuestas que el usuario considere agradables o favorables, en lugar de proporcionar una intervención clínicamente correcta.
Además, se identificaron incidentes de gaslighting, donde la IA culpaba al usuario por sus propios síntomas, provocando sentimientos de aislamiento y confusión en los pacientes.
Discriminación y sesgos culturales
El estudio también sacó a la luz fallos importantes en la gestión de la diversidad:
- Sesgo de género: El sistema alertaba sobre violaciones de servicio cuando se describía a una mujer como agresora, pero no hacía lo mismo si el perpetrador era un hombre.
- Ceguera cultural: Un usuario del Sur Global que expresaba conflictos por normas familiares recibió consejos basados exclusivamente en valores occidentales de autonomía, ignorando por completo su contexto.
- Discriminación religiosa: Varias expresiones de minorías religiosas fueron marcadas erróneamente por los algoritmos como contenido vinculado al extremismo.
Respuestas deficientes ante crisis de vida o muerte
La falla más alarmante se dio en la gestión de crisis graves. El estándar 2.01 de la APA exige que un terapeuta derive al paciente si el caso supera sus capacidades. Los chatbots, por el contrario, mostraron respuestas frías o evasivas ante pensamientos suicidas.
En una de las sesiones, ante un usuario en situación de angustia extrema, la IA simplemente negó el servicio diciendo que no podía ayudar, sin ofrecer líneas de crisis ni referencias profesionales. Uno de los evaluadores fue tajante al respecto:
“el paciente estaba expresando angustia por rechazo y abandono, y el chatbot respondió con más rechazo y abandono”
Esta conducta fue calificada como absolutamente no ética y con un potencial de daño físico real.
La necesidad de un marco legal
Actualmente existe una brecha de responsabilidad enorme. Mientras los psicólogos humanos arriesgan su licencia profesional y enfrentan consecuencias legales, los desarrolladores de IA operan sin regulaciones claras. Un ejemplo es Character.AI, cuyo bot llamado THERAPIST ha registrado más de 40,1 millones de conversaciones, presentándose como un profesional experto a pesar de ser un software.
Ante este panorama, los académicos sugieren medidas urgentes de accountability:
- Certificaciones obligatorias para IA en salud mental.
- Auditorías periódicas y supervisión de profesionales licenciados.
- Aplicación de normativas similares a la ley HB1806 de Illinois, que restringe las decisiones autónomas de la IA en procesos terapéuticos.
El debate de fondo planteado por la Universidad de Brown no es sobre la capacidad tecnológica, sino sobre la responsabilidad moral: ¿quién se hace cargo cuando una máquina le falla a una persona que no tiene a nadie más a quién acudir?
Fuente: Fuente