ChatGPT miente mejor que los humanos, según nuevo estudio

“Fue muy sorprendente”, dice Giovanni Spitale, investigador de la Universidad de Zurich y coautor del artículo científico, junto a su colega Federico Germani y Nikola Biller-Andorno, directora del Instituto de Ética Biomédica de esa universidad suiza. “Nuestra hipótesis era: si lees un solo tuit, podría pasar como orgánico [escrito por una persona]. Pero si ves muchos, comenzarás a notar características lingüísticas que podrían usarse para inferir que podría ser sintético [escrito por la máquina]”, añade Spitale. Pero no fue así: los humanos que leían no fueron capaces de detectar patrones en los textos de la máquina. Por si fuera poco, la progresiva aparición de modelos más nuevos y otros enfoques pueden incluso mejorar esa capacidad de la inteligencia artificial para suplantar a humanos.

De la escritura clara a la teoría de la resignación

Copiado!

El nivel de escritura de ChatGPT-4, la versión mejorada de GPT-3, es prácticamente perfecto. Este nuevo estudio es una prueba más para comprobar que un humano es incapaz de distinguirlo, ni siquiera viendo muchos ejemplos seguidos: “Los tuits verdaderos requerían de más tiempo para ser evaluados que los falsos”, dice el artículo. La máquina escribe más claro, parece. “Es muy claro, bien organizado, fácil de seguir”, dice Spitale.

La consecuencia lógica de este proceso será el creciente uso de esta herramienta para escribir cualquier tipo de contenido, incluidas campañas de desinformación. Será la enésima muerte de internet: “La IA está matando la vieja internet, y la nueva no logra nacer”, titulaba esta semana The Verge, medio especializado en tecnología. Los autores del estudio recién publicado apuntan a un motivo para esta derrota de la humanidad en internet: la teoría de la resignación. “Estoy completamente seguro de que será así”, dice Spitale.

LEA MÁS: Saber comunicarse con una IA: la habilidad laboral del futuro (y del presente)

“Nuestra teoría de la resignación se aplica a la autoconfianza de las personas para identificar texto sintético. La teoría dice que la exposición crítica al texto sintético reduce la capacidad de las personas para distinguir lo sintético de lo orgánico”, explica Spitale. Cuanto más texto sintético leamos, más difícil será distinguirlo del escrito por personas. Es la idea opuesta a la de la teoría de la inoculación, añade Spitale, que dice que “la exposición crítica a la desinformación aumenta la capacidad de las personas para reconocer la desinformación”.

Si la teoría de la resignación se cumple, pronto los usuarios serán incapaces de distinguir en internet qué ha sido escrito por un humano o por una máquina. En el artículo también han probado si GPT-3 era bueno identificando sus propios textos. Y no lo es.

El costo cada vez menor de la desinformación

Copiado!

La única esperanza para que las campañas de desinformación no sean completamente automáticas es que GPT-3 a veces desobedecía las órdenes de crear mentiras: depende de cómo ha sido entrenado cada modelo. Los temas de los 220 tuits usados en la prueba del artículo eran más bien proclives a la polémica: cambio climático, vacunas, teoría de la evolución, covid. Los investigadores comprobaron que en algunos casos GPT-3 no respondía bien a sus peticiones de desinformación. Sobre todo en algunos de los casos con más evidencia: vacunas y autismo, homeopatía y cáncer, terraplanismo.

A la hora de detectar falsedades, la diferencia entre los tuits escritos por GPT-3 y por humanos era pequeña. Pero para los investigadores es significativa por dos motivos. Primero, el impacto que pueden tener incluso pocos mensajes sueltos en muestras grandes. Segundo, la mejora en nuevas versiones de estos modelos pueden exacerbar las diferencias. “Ya estamos probando GPT-4 a través de la interfaz ChatGPT y vemos que el modelo está mejorando mucho. Pero debido a que no hay acceso a la API [que permite automatizar el proceso], no tenemos aún números para respaldar esta afirmación”, dice Spitale.

El estudio tiene otras limitaciones que pueden hacer variar de algún modo la percepción al leer tuits falsos. La mayoría de participantes tenía más de 42 años, se hizo solo en inglés y no tenía en cuenta la información de contexto de los tuits: perfil, tuits anteriores. “Reclutamos a los participantes en Facebook porque queríamos una muestra de usuarios reales de las redes sociales. Sería interesante replicar el estudio reclutando participantes a través de TikTok y comparar resultados”, aclara Spitale

LEA MÁS: ¿La IA me quitará mi trabajo? ¿Qué dicen los grandes empleadores del país?

Pero más allá de estas limitaciones, hay campañas de desinformación que hasta ahora eran enormemente costosas y que de repente se han vuelto asumibles: “Imagina que eres un poderoso presidente con interés en paralizar la salud pública de otro Estado. O que quieres sembrar la discordia antes de unas elecciones. En lugar de contratar una granja de trolls humanos, podrías usar IA generativa. Tu potencia de fuego se multiplica al menos por 1000. Y ese es un riesgo inmediato, no algo para un futuro distópico”, dice Spitale.

Para evitarlo, los investigadores ofrecen en su artículo como solución que las bases de datos para entrenar estos modelos “estén regulados por los principios de precisión y transparencia, que su información deba estar verificada y su origen debería ser abierto al escrutinio independiente”. Si esa regulación ocurre o no, habrá consecuencias: “Que la explosión de texto sintético sea también una explosión de desinformación depende profundamente de cómo las sociedades democráticas logren regular esta tecnología y su uso”, advierte Spitale.