La XAI construida desde prácticas engañosas: El mito del trade-off entre precisión y explicabilidad

En los últimos años, hemos sido testigos de cómo los modelos de deep learning han ganado popularidad frente a los modelos de machine learning tradicionales como la regresión logística. El argumento principal para esta transición ha sido su supuesta superioridad en términos de precisión. Sin embargo, esta ganancia viene con un costo significativo: la tranparencia y explicabilidad de la IA (XAI), lo que dificulta entender cómo funcionan o de qué parámetros dependen sus salidas debido a sus múltiples capas ocultas.

El "trade-off" entre rendimiento y explicabilidad ha sido aceptado por gran parte de la comunidad XAI con poca documentación científica que lo pruebe. "Si queremos mayor precisión, debemos sacrificar la explicabilidad, y viceversa". Pero, ¿qué tan cierto es este trade-off? ¿De dónde surgió? ¿Quién lo documentó con evidencia empírica?

En varios artículos científicos de IA se representa este tipo de gráficas:

"Trade-off" entre rendimiento y explicabilidad Fuente (Barredo et al 2019)

"Trade-off" entre rendimiento y explicabilidad (Ciatto et al,2020).

Gráficas sin datos reales, presentando ejes sin valores concretos y sin metodología clara para medir la "explicabilidad" frente al "rendimiento". Este tipo de visualizaciones sin escalas o valores precisos constituye una práctica engañosa que ha sesgado nuestra comprensión del campo.

Sin embargo se ha demostrado que la diferencia real entre modelos interpretables y modelos de deep learning para datos estructurados es mínima, aproximadamente del 1% (Rudin, 2019) en términos de precisión. Esta diferencia marginal difícilmente justifica el sacrificio de la transparencia, especialmente en aplicaciones de alto impacto social.
Un ejemplo ilustrativo es el algoritmo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilizado en el sistema judicial estadounidense para evaluar el riesgo de reincidencia criminal. COMPAS es un modelo de caja negra cuyas decisiones han afectado directamente a las personas. Investigaciones posteriores demostraron que un un modelo de machine learning, inherentemente explicable, podría haber logrado el mismo rendimiento que COMPAS utilizando incluso menos variables. Este descubrimiento pone en evidencia que en muchos casos estamos sacrificando innecesariamente la transparencia algorítmica.
La elección entre modelos de deep learning y modelos de machine learning tradicionales debería depender de la complejidad de los datos y los requisitos específicos de cada aplicación, no de un trade-off que carece de fundamento empírico sólido.

bibliografía:

Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215.

Barredo Arrieta, A., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., Garcia, S., Gil-Lopez, S., Molina, D., Benjamins, R., Chatila, R., & Herrera, F. (2020). Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 82-115. 

Ciatto, G., Schumacher, M. I., Omicini, A., & Calvaresi, D. (2020). Agent-Based Explanations in AI: Towards an Abstract Framework. Information Fusion, 58, 54-69.