Las pérdidas económicas atribuibles a las alucinaciones de inteligencia artificial alcanzaron $67,4 mil millones globalmente en 2024, según el estudio de AllAboutAI.
Esta cifra representa la fracción cuantificable de un problema más amplio que abarca inexactitudes factuales, vacíos de conocimiento y sesgos sistemáticos en outputs de IA.
Los casos documentados incluyen testimonios de expertos en IA desafiados en tribunales por depender de citas alucinadas generadas por IA en litigios relacionados con deepfakes, y abogados en Wyoming enfrentaron sanciones por utilizar contenido generado artificialmente con inexactitudes.
Estos precedentes legales establecen riesgos operativos concretos para profesionales que implementan herramientas de IA sin validación adecuada.
Ante esto, OpenAI indagó sobre el origen de las “alucinaciones” en los modelos de lenguaje, un fenómeno que pone en riesgo la fiabilidad de la inteligencia artificial, y su persistencia, que vincula con las evaluaciones que incentivan las conjeturas.
Las alucinaciones son un fenómeno por el que la IA ofrece respuestas que, a pesar de parecer coherentes, incluyen información sesgada o errónea que no está respaldada por los datos con los que se ha entrenado.
Suponen un problema que afecta a la interacción con los modelos de lenguaje, porque los usuarios pueden creer que la información es correcta y tomar decisiones con base a ella. También son un desafío para las empresas que desarrollan esos modelos porque no está claro su origen.
OpenAI, sin embargo, asegura que se originan en el preentrenamiento, en el proceso de predicción de la siguiente palabra en grandes cantidades de texto, cuando no existen etiquetas que ayuden a distinguir lo que es válido de lo que es inválido.
Este es el resultado de una investigación que compartieron recientemente, titulada “Por qué los modelos de lenguaje alucinan?”, en la que indagaron también sobre la persistencia de las alucinaciones en los modelos más recientes, que recoge en su blog oficial.
Asegura que “las alucinaciones persisten en parte porque los métodos de evaluación actuales establecen incentivos erróneos”, y para explicarlo, compara su forma de responder con un estudiante enfrentándose a un examen de respuesta múltiple.
“Si no sabes la respuesta pero intentas adivinar, podrías tener suerte y acertar. Dejarla en blanco garantiza un cero. De la misma manera, cuando los modelos se califican solo por la precisión, el porcentaje de preguntas que responden correctamente, se les anima a adivinar en lugar de decir ‘No lo sé’”.
Ante este descubrimiento, OpenAI propone actualizar las pruebas basadas en la precisión para que también se penalicen las conjeturas, y que los modelos puedan “abstenerse ante la incertidumbre”.
LEA MÁS: El nuevo cortafuegos en la guerra de la IA: la millonaria decisión de Anthropic para aislar a China
Aun así, la compañía reconoce que no se pueden conseguir modelos de lenguaje que sean precisos al cien por cien, porque “independientemente del tamaño del modelo y de sus capacidades de búsqueda y razonamiento, algunas preguntas del mundo real son inherentemente incontestables”.
