Por Ilknur Kaynar Kabul SAS .
Como aprendizaje automático tiene su lugar en muchos avances recientes en ciencia y tecnología, la interpretación de los modelos de aprendizaje automático crece. en importancia.
Estamos rodeados de aplicaciones impulsadas por aprendizaje automático, y nos vemos personalmente afectados por las decisiones que toman las máquinas cada día más. Desde lo mundano hasta lo que salvamos vidas, pedimos modelos de aprendizaje automático para respuestas a preguntas como:
- ¿Qué canción disfrutaré?
- ¿Podré obtener un préstamo?
- ¿A quién debo contratar?
- ¿Cuál es la probabilidad de que yo tenga cáncer?
Estas y muchas otras preguntas son respondidas por modelos predictivos que la mayoría de los usuarios saben muy poco. Los científicos de datos a menudo ponen énfasis en la precisión de la predicción de sus modelos, no en la comprensión de cómo se hacen esas predicciones. Con el aprendizaje automático, los modelos simplemente lo hacen.
Los modelos complejos son más difíciles de entender
Algunos modelos de aprendizaje automático son simples y fáciles de entender. Sabemos cómo cambiar las entradas afectará el resultado predicho y podemos justificar cada predicción. Sin embargo, con los avances recientes en el aprendizaje automático y la inteligencia artificial los modelos se han vuelto muy complejos, incluyendo complejas redes neuronales profundas y conjuntos de diferentes modelos. Nos referimos a estos modelos complejos como modelos de caja negra.
Desafortunadamente, la complejidad que otorga habilidades predictivas extraordinarias a los modelos de caja negra también los hace muy difíciles de entender y de confiar. Los algoritmos dentro de los modelos de caja negra no exponen sus secretos. En general, no proporcionan una explicación clara de por qué hicieron una cierta predicción. Simplemente nos dan una probabilidad, y son opacos y difíciles de interpretar. A veces hay miles (incluso millones) de parámetros de modelo, no hay una relación de uno a uno entre las características de entrada y los parámetros, y con frecuencia las combinaciones de múltiples modelos que usan muchos parámetros afectan la predicción. Algunos de ellos también están hambrientos de datos. Necesitan enormes cantidades de datos para lograr una alta precisión. Es difícil entender qué aprendieron de esos conjuntos de datos y cuáles de esos puntos de datos tienen más influencia sobre el resultado que los otros.
Debido a todas esas razones, es muy difícil entender el proceso y los resultados de esas técnicas. También es difícil averiguar si podemos confiar en los modelos y si podemos tomar decisiones justas al usarlos.
¿Qué sucede si aprenden algo incorrecto? ¿Qué pasa si no están listos para el despliegue? Existe el riesgo de tergiversación, simplificación o sobreajuste. Por lo tanto, debemos ser cuidadosos cuando los usamos y entenderíamos mejor cómo funcionan esos modelos.
Por qué la precisión no es suficiente
En el aprendizaje automático, la precisión se mide comparando la salida de un modelo de aprendizaje automático. a los valores reales conocidos del conjunto de datos de entrada.
Un modelo puede lograr una alta precisión al memorizar las características o patrones que no son importantes en su conjunto de datos. Si hay un sesgo en su conjunto de datos de entrada, esto también puede afectar su modelo. Además, los datos en el entorno de capacitación pueden no ser una buena representación de los datos en el entorno de producción en el que se implementa el modelo. Incluso si es lo suficientemente representativo inicialmente, si consideramos que los datos en el entorno de producción no son estacionarios, pueden quedar obsoletos muy rápidamente.
Por lo tanto, no podemos confiar solo en la precisión de la predicción lograda para un conjunto de datos específico. Necesitamos saber más. Tenemos que desmitificar los modelos de aprendizaje de la caja negra y mejorar la transparencia y la capacidad de interpretación para que sean más confiables y confiables.
¿Qué es la interpretabilidad?
Interpretabilidad significa dar explicaciones a los usuarios finales para una decisión o proceso en particular. Más específicamente, implica:
- Comprender las tareas principales que afectan los resultados.
- Explicar las decisiones que toma un algoritmo.
- Conocer los patrones / reglas / características que se aprenden mediante un algoritmo. [19659005] Ser crítico con los resultados.
- Explorar las incógnitas desconocidas para su algoritmo.
No se trata de comprender cada detalle sobre cómo funciona un modelo para cada punto de datos en los datos de entrenamiento.
¿Por qué necesitamos? ¿Interpretabilidad?
La interpretabilidad es importante para diferentes personas por diferentes motivos:
Los científicos de datos
Desean construir modelos con alta precisión. Quieren comprender los detalles para descubrir cómo pueden elegir el mejor modelo y mejorar ese modelo. También desean obtener información del modelo para poder comunicar sus hallazgos a su público objetivo.
Los usuarios finales
Desean saber por qué un modelo da una cierta predicción. Quieren saber cómo se verán afectados por esas decisiones, si reciben un trato justo y si deben objetar alguna decisión. Quieren tener cierta confianza cuando compran en línea o hacen clic en anuncios en la web.
Reguladores y los legisladores
Quieren que el sistema sea justo y transparente. Quieren proteger a los consumidores. Con el inevitable aumento de los algoritmos de aprendizaje automático, cada vez están más preocupados por las decisiones que toman los modelos.
Todos esos usuarios quieren cosas similares a los modelos de caja negra. Quieren que sean transparentes, confiables y explicables.
- Transparente : El sistema puede explicar cómo funciona y / o por qué da ciertas predicciones
- Fiable : El sistema puede manejar diferentes Escenarios en el mundo real sin control continuo.
- Explicable : El sistema puede transmitir información útil sobre su funcionamiento interno, para los patrones que aprende y para los resultados que proporciona.
sistema de aprendizaje automático típico, tenemos control sobre el conjunto de datos utilizado para entrenar el modelo, tenemos control sobre el modelo que usamos y tenemos control sobre cómo evaluamos e implementamos esos modelos.
¿Cuándo es necesaria la interpretación?
Si necesita interpretabilidad, primero debe preguntarse por qué la necesita. ¿En qué etapa de este proceso necesita interpretabilidad?
Puede que no sea necesario comprender cómo un modelo realiza sus predicciones para cada aplicación. Sin embargo, es posible que deba saberlo si esas predicciones se usan para decisiones de alto riesgo.
Después de definir su propósito, debe enfocarse en qué técnicas necesita en qué etapa del proceso:
1- La interpretabilidad en el modelado previo (interpretabilidad de las entradas del modelo):
Comprender su conjunto de datos es muy importante antes de comenzar a construir modelos Puede utilizar diferentes técnicas exploratorias de análisis y visualización de datos para comprender mejor su conjunto de datos.
Esto puede incluir resumir las características principales de su conjunto de datos, encontrar puntos representativos o críticos en su conjunto de datos y encontrar las características relevantes de su conjunto de datos.
Una vez que tenga una comprensión general de su conjunto de datos, debe pensar qué características va a utilizar en el modelado. Si desea explicar la relación de entrada-salida después de hacer el modelado, debe comenzar con características significativas.
Si bien las características altamente diseñadas (como las obtenidas de t-sne, las proyecciones aleatorias, etc.) pueden aumentar la precisión de su modelo, no se podrán interpretar cuando utilice el modelo.
2- Interpretabilidad en el modelado :
Podemos clasificar los modelos como modelos de caja blanca (transparente) y de caja negra (opacos) según su simplicidad, transparencia y explicabilidad.
1-Modelos de caja blanca (transparentes) :
Los árboles de decisión, las listas de reglas y los algoritmos de regresión generalmente se consideran en esta categoría. Estos modelos son fáciles de entender cuando se usan con pocos predictores.
Utilizan transformaciones interpretables y le dan más intuición sobre cómo funcionan las cosas, lo que le ayuda a comprender lo que está sucediendo en el modelo.
Puedes explicarlas a un público técnico. Pero, por supuesto, si tiene cientos de características y construye un gran árbol de decisiones muy profundo, las cosas pueden complicarse y no se pueden interpretar.
2- Modelos de caja negra (opacos):
Redes neuronales profundas, aleatorias Los bosques, y las máquinas de aumento de gradiente se pueden considerar en esta categoría. Usualmente usan muchos predictores y transformaciones complejas. Algunos de ellos tienen muchos parámetros.
Por lo general, es difícil visualizar y comprender lo que sucede dentro de estos modelos. Son más difíciles de comunicar a un público objetivo. Sin embargo, su precisión de predicción puede ser mucho mejor que otros modelos.
Investigaciones recientes en esta área esperan hacer estos modelos más transparentes. Algunas de esas investigaciones incluyen técnicas que forman parte del proceso de capacitación.
Generar explicaciones además de las predicciones es una forma de mejorar la transparencia en estos modelos. Otra mejora es incluir la visualización de características después del proceso de capacitación.
3- Interpretabilidad en el modelado posterior (interpretabilidad post hoc):
La interpretabilidad en las predicciones del modelo nos ayuda a inspeccionar la dinámica entre las características de entrada y las predicciones de salida. Algunas actividades posteriores al modelado son específicas de cada modelo, mientras que otras son independientes del modelo.
Agregar interpretabilidad en esta fase puede ayudarnos a comprender las características más importantes de un modelo, cómo esas características afectan las predicciones, cómo cada característica contribuye a la predicción y qué tan sensible es su modelo a ciertas características.
Existen técnicas modelo-agnósticas tales como diagramas de Dependencia Parcial (PD), Expectativas Condicionales Individuales (ICE) y Explicaciones de Modelo Agnóstico Local Interpretable (LIME), además de las técnicas específicas del modelo, como el resultado de importancia variable de Random Forest. .
Estén atentos para más publicaciones sobre este tema. En esta serie de blogs explicaremos algunas de las técnicas de interpretación.
Explicaremos cómo puede usar técnicas de interpretabilidad independiente del modelo para comprender los modelos de caja negra. También cubriremos algunos de los avances recientes en interpretabilidad.