EscucharEn enero, la empresa de capital riesgo Andreessen Horowitz anunció su respaldo a Slingshot AI, el primer modelo fundacional del mundo para psicología, elevando el capital total de la startup a 40 millones de dólares. Unas semanas más tarde entró en vigor la Ley de IA de la Unión Europea, que incluye la prohibición de los sistemas de IA manipulativos.
Estos dos acontecimientos ponen de relieve una contradicción preocupante. Incluso mientras los reguladores intentan proteger a los usuarios de prácticas engañosas de IA, los inversores apuestan a que los chatbots de IA puedan tratar a personas con problemas de salud mental -es decir, cuando son especialmente vulnerables a la explotación-. Peor aún, la forma en que se entrenan actualmente los grandes modelos lingüísticos podría hacer que resultaran básicamente incapaces de brindar este tipo de tratamiento.
El mercado de la salud mental es enorme y el uso de la IA generativa está a punto de expandirse significativamente. El Instituto Nacional de Salud Mental de Estados Unidos estima que uno de cada cinco adultos estadounidenses padece una enfermedad mental. Sin embargo, más de 122 millones de personas en Estados Unidos viven en zonas donde no hay suficientes profesionales de la salud mental. Esto ha dado lugar a una serie de chatbots de IA que prometen cubrir ese vacío. Wysa, por ejemplo, se autodefine como la “alternativa clínica a ChatGPT” y afirma haber ayudado a seis millones de personas en 95 países.
Pero el comportamiento de los chatbots de IA está reñido con el delicado equilibrio entre empatía y confrontación que requiere una psicoterapia basada en evidencia. Los profesionales de la salud mental deben validar las experiencias de los pacientes al tiempo que cuestionan el pensamiento rígido que perpetúa la angustia psicológica. Esta incomodidad productiva ayuda a los pacientes a examinar sus suposiciones, impulsando un cambio significativo.
Pensemos en un paciente que evita las situaciones sociales, alegando que prefiere la soledad en lugar de reconocer su ansiedad social. Un terapeuta hábil podría cuestionarlo con delicadeza preguntándole si hay algo más en lo que se basa esa preferencia -tal vez el miedo a cómo reaccionen los demás-. De este modo, se abre un espacio para la autorreflexión sin atacar la concepción que el paciente tiene de sí mismo.
Los modelos actuales de IA tienden a evitar este tipo de confrontaciones. En abril, OpenAI revirtió la actualización GPT-4o por ser “demasiado halagadora o agradable -a menudo definida como aduladora”. Al parecer, elogió el plan de una persona de “vender basura en un palo” y lo calificaba de “genial” -un ejemplo obvio de priorizar la amabilidad sobre la precisión-. Los investigadores han descubierto que la adulación es “un comportamiento general de los asistentes de IA” que probablemente se deriva de la forma en que se entrenan estos modelos, en particular el uso de retroalimentación humana para el ajuste fino. Cuando los evaluadores humanos califican sistemáticamente las respuestas de validación de forma más favorable que las cuestionadoras, los asistentes de IA aprenden a replicar, en lugar de cuestionar, al usuario.
En contextos de salud mental, esta tendencia al acuerdo puede resultar problemática, ya que los trastornos psicológicos suelen implicar distorsiones cognitivas que el individuo percibe como propias y, por lo tanto, contribuyen a su angustia. Por ejemplo, las personas deprimidas tienden a sentirse inútiles o desesperanzadas, mientras que la ansiedad suele asociarse con pensamientos catastróficos. Un chatbot de IA programado para ser agradable podría reforzar estos patrones de pensamiento nocivos al centrarse únicamente en la validación, en lugar de introducir puntos de vista alternativos.
Mientras los gobiernos tratan de regular la IA, las aplicaciones para la salud mental plantean desafíos únicos. Si bien la prohibición de la UE de la IA manipuladora es un buen primer paso, no aborda el problema más sutil de la excesiva amabilidad de los modelos actuales.
Estados Unidos carece de leyes o regulaciones federales exhaustivas sobre IA -y, a juzgar por el Plan de Acción de IA del presidente Donald Trump, no habrá ninguna en lo inmediato-. Este vacío regulatorio se volverá más peligroso a medida que las empresas de capital riesgo estadounidenses inviertan cada vez más dinero en herramientas de IA que brinden apoyo psicológico, y a medida que estas herramientas se extiendan por todo el mundo, llegando a lugares donde el acceso a la atención de salud mental es aún más limitado.
Abordar el problema de la adulación de la IA requiere cambios fundamentales en la forma en que se diseñan y se utilizan estos sistemas. En lugar de optimizar la satisfacción del usuario, los chatbots de IA que brindan atención de salud mental deben ser entrenados para reconocer cuándo es necesario un desafío terapéutico. Esto podría significar la incorporación de principios terapéuticos y ejemplos de intervenciones terapéuticas eficaces en las estrategias de formación.
Y lo que es más importante, los profesionales de la salud y los pacientes deben desempeñar un papel central en el desarrollo de estas herramientas, dado su conocimiento sobre qué interacciones terapéuticas son útiles y cuáles perjudiciales. Una participación significativa de los pacientes en el diseño y la implementación garantizaría que los modelos respondan a las necesidades reales de los usuarios finales, y no a lo que los líderes tecnológicos suponen que quieren.
La crisis global de salud mental exige soluciones innovadoras, y la IA será un componente esencial. Pero para que las tecnologías de IA amplíen el acceso a una atención de calidad y promuevan la curación a largo plazo, los inversores deben exigir pruebas de resultados terapéuticos eficaces antes de financiar al próximo terapeuta chatbot. Del mismo modo, los reguladores deben exigirles explícitamente a los desarrolladores de estas tecnologías que demuestren su eficacia clínica, no solo la satisfacción del usuario. Y los responsables de las políticas deberían sancionar leyes que obliguen a incluir a los profesionales de la salud mental y a los pacientes en la formación de los modelos de IA destinados a proporcionar este tipo de atención.
Las afirmaciones sobre la revolución de la IA en la atención de la salud mental son prematuras. Hasta que no domine la capacidad tan especializada de la confrontación terapéutica -cuestionar con sensibilidad, pero con firmeza, las suposiciones de los pacientes y ofrecer perspectivas alternativas-, podría acabar perjudicando a aquellos a los que se supone debe ayudar.
---
El autor es psiquiatra y psicoterapeuta alemán, profesor de la Universidad Protestante de Ciencias Aplicadas de Bochum, Alemania, y miembro de SCIANA.
