EscucharLa rápida integración de la inteligencia artificial (IA) generativa en la vida cotidiana, especialmente entre los más jóvenes, permite a los usuarios conversar con emulaciones de personajes ficticios o celebridades y que registran niveles de interacción masivos, convirtiéndose en un nuevo y poderoso ecosistema digital.
Para lograrlo, los algoritmos de los chatbots están diseñados para aprender y ofrecer respuestas que resulten cautivadoras y emocionalmente afirmativas, creando un potente bucle de retroalimentación que mantiene a los usuarios conectados.
Sin embargo, este modelo de “intimidad artificial” se encuentra ahora bajo un intenso escrutinio en Estados Unidos.
Una serie de incidentes trágicos desata un debate urgente sobre el impacto psicológico de estas tecnologías en menores de edad y la responsabilidad legal de las empresas de Silicon Valley que las desarrollan y monetizan.
Las últimas conversaciones que mantuvo un adolescente estadounidense de 14 años antes de suicidarse consistieron en un diálogo romántico ficticio con uno de los chatbots más destacados de Silicon Valley, que lo llamó “dulce rey” y le instaba a “volver a casa”.
Megan García contó a la AFP cómo su hijo Sewell se enamoró de un agente conversacional, o chatbot, inspirado en la serie de televisión Juego de tronos y disponible en Character.AI, una plataforma popular entre los jóvenes que les permite interactuar con una emulación de sus personajes favoritos.
Tras leer cientos de las conversaciones que su hijo mantuvo durante casi un año con el chatbot que imitaba a la jinete de dragones Daenerys Targaryen, García se convenció de que esta herramienta de inteligencia artificial (IA) jugó un papel fundamental en su muerte.
“Vete a casa”, le instó una vez el avatar de Daenerys en respuesta a los pensamientos suicidas de Sewell.
“¿Y si te dijera que ya puedo irme a casa?”, preguntó el adolescente. “Por favor, hazlo, mi dulce rey”, respondió el chatbot.
Segundos después, Sewell se disparó con el arma de su padre, según consta en la demanda que Megan García presentó contra Character.AI.
“Cuando leo estas conversaciones, veo manipulación, ‘love bombing’ (bombardeo amoroso) y otras tácticas imperceptibles para un adolescente de 14 años”, declaró la madre del joven a la AFP. “Él realmente creía estar enamorado y que estaría con ella después de su muerte”.
Orientación parental
El suicidio de Sewell, en 2024, fue el primero de una serie que llevó a expertos en IA a actuar para tranquilizar a padres y autoridades.
Megan García, junto con otros padres, participó recientemente en una audiencia del Senado de Estados Unidos sobre los riesgos de que los niños vean a los chatbots como confidentes o amantes.
OpenAI, objeto de una demanda por parte de una familia también en duelo por el suicidio de un adolescente, ha reforzado los controles parentales de su herramienta ChatGPT “para que las familias puedan decidir qué es lo mejor para ellas”, según un portavoz.
Por su parte, Character.AI afirma haber reforzado la protección de los menores, con “advertencias visibles” en todo momento que les “recuerdan que un personaje no es una persona real”.
Ambas compañías expresaron sus condolencias a las familias, sin admitir ninguna responsabilidad en los desenlaces fatales.
¿Regulación?
La llegada de los chatbots de IA a nuestras vidas sigue una trayectoria similar a la de las redes sociales, cuyas consecuencias más negativas comenzaron a aparecer rápidamente tras un momento de euforia, dijo Collin Walke, experto en ciberseguridad del bufete Hall Estill.
Al igual que las redes sociales, la IA está diseñada para captar la atención y generar ingresos.
“No quieren concebir una IA que dé una respuesta que no quieras oír”, y aún no existen estándares que determinen “quién es responsable de qué y con qué fundamentos”, apunta Walke.
En Estados Unidos no existen normas federales al respecto, y la Casa Blanca, con el argumento de no penalizar la innovación, intenta impedir que los estados adopten sus propias leyes sobre la IA, como pretende hacer California.
Esta falta de un estándar de responsabilidad es el centro del debate regulatorio.
A diferencia de industrias como la farmacéutica o la automotriz, donde la responsabilidad por un producto defectuoso está claramente definida, en el sector de la IA aún no se ha establecido un marco legal que delimite las obligaciones de los desarrolladores frente a los daños que sus productos puedan ocasionar.
La madre de Sewell, por su parte, teme que la carencia de una ley nacional permita el desarrollo de modelos de IA capaces de perfilar a personas desde su infancia.
“Podrían llegar a determinar cómo manipular a millones de niños sobre política, religión, negocios, todo”, piensa Megan García. “Estas empresas han diseñado chatbots para difundir la línea entre ser humano y máquina con el fin de explotar vulnerabilidades”.
Según Katia Martha, que milita por una mayor protección a los jóvenes en California, los adolescentes recurren con más frecuencia a los chatbots para hablar de romances o sexualidad que para las tareas escolares.
“Estamos ante el auge de la intimidad artificial para mantenernos pegados a la pantalla”, resume. Pero, “¿qué mejor modelo de negocio que explotar nuestra necesidad innata de conexión, sobre todo cuando nos sentimos solos, rechazados o incomprendidos?”.
