Los algoritmos de aprendizaje automatizado suelen ser conocidos como cajas negras, porque se asemejan a un sistema cerrado que toma un material y produce un resultado, sin explicación del porqué. Conocer ese “por qué” es importante para muchas industrias, particularmente aquellas con obligaciones fiduciarias, como la del consumer finance.

Desafortunadamente, cuando se trata de plataformas de aprendizaje profundo, las explicaciones son problemáticas.

En muchos casos, el atractivo del aprendizaje automatizado consiste en su habilidad de detectar patrones que desafían a la lógica o la intuición. Si pudiera mapear una relación entre entradas y resultados en forma lo suficientemente simple como para explicarla, probablemente no necesita aprendizaje automatizado en ese contexto. A diferencia de un sistema codificado a mano, no puede simplemente observar dentro de una red neural y ver cómo funciona. Una red neural está compuesta de miles de neuronas simuladas, colocadas en capas que se interconectan, cada una de las cuales recibe señales de entradas y resultados que luego son enviados a la siguiente capa y así sucesivamente, hasta que se alcanza un resultado final. Incluso si puede interpretar cómo está funcionando técnicamente un modelo en términos que un científico de IA pudiera comprender, explicárselo a un tomador de decisiones civil es otro problema.

Deep Patient, por ejemplo, es una plataforma de aprendizaje profundo en el Mount Sinai Hospital de Nueva York. Fue entrenada usando registros médicos electrónicos de 700,000 individuos, y se volvió adepta a predecir enfermedades, descubriendo patrones ocultos en los datos del hospital que brindaron alertas tempranas para pacientes en riesgo de desarrollar una amplia variedad de padecimientos, incluyendo cáncer de hígado, sin guía humana.

Después, para sorpresa de todos, Deep Patient también demostró la habilidad de predecir el surgimiento de ciertos desórdenes psiquiátricos, como la esquizofrenia, que son notoriamente difíciles de predecir incluso para los doctores. El desafío para los profesionales médicos en dichos escenarios consiste en equilibrar el reconocimiento a la eficacia y valor del sistema, con el conocimiento respecto a qué tanto confiar en él, considerando que no entienden plenamente cómo funciona.

Educación y explicaciones

Algunas organizaciones e industrias están invirtiendo en la capacidad de auditar y explicar los sistemas de aprendizaje automatizado. La Defense Advanced Research Projects Agency (Darpa en inglés), actualmente está financiando un programa llamado Explainable AI, cuya meta es interpretar el aprendizaje profundo que impulsa a los drones y las operaciones para obtener información.

Capital One, que ha tenido sus propios problemas serios con fugas de información, creó un equipo de investigadores dedicado a encontrar formas de hacer que el aprendizaje profundo sea más explicable, ya que las regulaciones de los Estados Unidos le exigen a este tipo de compañías explicar decisiones como la de por qué le negaron una tarjeta de crédito a un cliente potencial.

La regulación algorítmica seguramente se volverá más sofisticada durante los próximos años, mientras el público empieza a mostrar más preocupación respecto al impacto de la IA en sus vidas. Por ejemplo, bajo la General Data Protection Regulation, que entró en vigor en 2018, la Unión Europea exige que las compañías sean capaces de explicar las decisiones que toman sus algoritmos. Es probable que en el futuro cercano no pueda diseñar ninguna clase de IA sin un equipo de excelentes científicos y un conjunto igualmente capaz de abogados y de ingenieros especializados en privacidad.

La idea detrás de la regulación algorítmica es la rendición de cuentas. Hacer que la IA sea más explicable no solo se trata de asegurarle a los líderes que pueden confiar en las decisiones de los algoritmos, sino también de brindarle a las personas la opción de desafiar las decisiones basadas en IA. De hecho, el tema de la transparencia algorítmica aplica tanto al aprendizaje automático como a cualquier algoritmo cuyos mecanismos internos estén ocultos.

Sin embargo, para los líderes, la pregunta más importante a plantearle a los equipos que están diseñando y construyendo soluciones automatizadas podría no ser la de por qué llegaron a una decisión en particular, sino la de ¿para qué objetivo están optimizando estas decisiones? Los puntos óptimos son importantes.

Considere un experimento mental conocido como el maximizador del sujetapapeles que fue propuesto por el filósofo Nick Bostrom. Este describe cómo la IA podría terminar destruyendo el mundo después de recibir la indicación de fabricar sujetapapeles con tanta eficiencia como sea posible.

La IA en el escenario de Bostrom no es intrínsecamente malvada. Simplemente, en su opinión, le dieron la meta equivocada y no le colocaron limitaciones, lo que puede ocasionar muchos daños involuntarios.

La IA es una herramienta que refleja nuestras prioridades, como organizaciones y gobiernos. Si decidimos que debería instalarse un sistema algorítmico, también deberíamos juzgar cualquier daño resultante en el contexto del sistema que los algoritmos están reemplazando. Sin embargo, al hacerlo también debemos estar listos para ser juzgados y para justificar nuestras decisiones.

Los líderes serán desafiados, respecto al objetivo para el cual optimizan, por sus accionistas, consumidores y reguladores. Habrá demandas que lo obliguen a revelar las decisiones humanas detrás del diseño de sus sistemas de IA, las preocupaciones éticas y sociales que tomó en cuenta, los orígenes y métodos por medio de los cuales obtiene la información para entrenar al algoritmo, el qué tan bien monitorea los resultados de esos sistemas para detectar señales de sesgos o discriminación. Documente cuidadosamente sus decisiones y asegúrese de que entiende, o al menos confía, en los procesos algorítmicos que están en el núcleo de su negocio.

Simplemente argumentar que su plataforma de IA es una caja negra que nadie comprende tiene pocas probabilidades de ser una defensa legal exitosa en el Siglo XXI. Será tan convincente como decir “El algoritmo me obligó.”