En este artículo, analizaré la utilidad de cada una de las métricas de regresión en aprendizaje automático según el objetivo y el problema que intentamos resolver. Parte 1 presentó las primeras cuatro métricas como se muestra a continuación, mientras que las restantes se presentan en este artículo. Recordemos primero las principales métricas de regresión en aprendizaje automático:
- (MSE) Error cuadrático medio
- (RMSE) Error cuadrático medio
- (MAE) Error absoluto medio
- R Cuadrado (R²)
- R ajustado ajustado (R²)
- (MSPE) Error medio porcentual cuadrado
- (MAPE) Error absoluto medio porcentual
- (RMSLE) Error logarítmico cuadrado medio cuadrático
Métricas de regresión en aprendizaje automático:
R ajustado ajustado (R²)
R² muestra qué tan bien los términos (puntos de datos) se ajustan a una curva o línea. El R2 ajustado también indica qué tan bien se ajustan los términos a una curva o línea, pero se ajusta para la cantidad de términos en un modelo. Si agrega más y más inútil variables a un modelo, el R cuadrado ajustado disminuirá. Si agrega más variables útiles, aumentará R cuadrado ajustado. R2 ajustado siempre será menor o igual a R².
donde n es el número total de observaciones yk es el número de regresores independientes , es decir, el número de variables en su modelo, excluyendo la constante.
Diferencia principal entre R² ajustado y R²
Tanto R² como el R² ajustado le dan una idea de cuántos puntos de datos caen dentro de la línea de ecuación de regresión . Sin embargo, R2 asume que cada variable individual explica la variación en la variable dependiente . El R² ajustado le indica el porcentaje de variación explicado solo por las variables independientes que realmente afectan a la variable dependiente.
En realidad, R² ajustado lo penalizará por agregar variables independientes (K en el ecuación) que no se ajustan al modelo. ¿Por qué? En análisis de regresión puede ser tentador agregar más variables a los datos a medida que los piense. Algunas de esas variables serán significativas, pero no puede estar seguro de que la importancia sea solo por casualidad. El R² ajustado lo compensará con la penalización de esas variables adicionales.
Problemas con R² que se corrigen con un R² ajustado
- R² aumenta con cada predictor agregado a un modelo . Como R² siempre aumenta y nunca disminuye, puede parecer que se ajusta mejor con más términos que agregue al modelo. Esto puede ser completamente engañoso.
- Del mismo modo, si su modelo tiene demasiados términos y demasiados polinomios de alto orden, puede tener problemas para ajustar los datos. Cuando se ajusta demasiado a los datos, un valor R² engañosamente alto puede conducir a proyecciones engañosas.
Todas las métricas que hemos examinado hasta el momento suponen que cada predicción proporciona información igualmente precisa sobre la variación del error. MSPE y MAPE no siguen esta suposición.
Error medio porcentual cuadrado (MSPE)
Pensemos en el siguiente problema. Nuestro objetivo es predecir, ¿cuántas computadoras portátiles se venderán dos tiendas?
- Tienda 1: 9 predicho, vendido 10, MSE = 1
- Tienda 2: 999 predicho, vendido 1000, MSE = 1
O incluso,
- Tienda 1: 9 predicho, vendido 10, MSE = 1
- Tienda 2: 900 predicho, vendido 1000, MSE = 10000
MSE es el mismo para las predicciones de ambas tiendas, y por lo tanto de acuerdo con esas métricas, estas por uno errores son indistinguibles. Esto es básicamente porque MSE funciona con errores cuadrados absolutos, mientras que el error relativo puede ser más importante para nosotros.
La preferencia de error relativa se puede expresar con Error de porcentaje cuadrado medio. Para cada objeto, el error absoluto se divide por el valor objetivo, dando un error relativo.
Por lo tanto, MSPE puede considerarse como una versión ponderada de MSE. El peso de su muestra es inversamente proporcional a su cuadrado objetivo. Significa que, el costo que pagamos por un error absoluto fijo, depende del valor objetivo y a medida que aumenta el objetivo, pagamos menos.
Dado que MSPE se considera la versión ponderada de MSE las predicciones constantes óptimas para MSPE resulta ser la media ponderada de los valores objetivo.
Error de porcentaje absoluto medio (MAPE)
La preferencia de error relativa también se puede expresar con el Error de porcentaje absoluto medio, MAPE.Para cada objeto, el error absoluto se divide por el valor objetivo, dando error relativo. MAPE también se puede considerar como versiones ponderadas de MAE.
Para MAPE, el peso de su muestra es inversamente proporcional a su objetivo. Pero de forma similar a MSPE, el costo que pagamos por un error absoluto fijo depende del valor objetivo. Y a medida que el objetivo aumenta, pagamos menos.
Dado que MAPE se considera la versión ponderada de MAE las predicciones constantes óptimas para MAPE resulta ser la mediana ponderada de los valores objetivo .
Tenga en cuenta que si un valor atípico tiene un valor muy, muy pequeño, MAPE estaría muy predispuesto hacia él, ya que este valor atípico tendrá el mayor peso.
Error logarítmico cuadrado medio de raíz (RMSLE)
Es solo un RMSE calculado en escala logarítmica. De hecho, para calcularlo, tomamos un logaritmo de nuestras predicciones y los valores objetivo, y calculamos el RMSE entre ellos. Los objetivos generalmente no son negativos, pero pueden equivaler a 0, y el logaritmo de 0 no está definido. Es por eso que generalmente se agrega una constante a las predicciones y los objetivos antes de aplicar la operación logarítmica. Esta constante también puede elegirse para ser diferente a uno dependiendo del problema.
Por lo tanto, esta métrica generalmente se usa en la misma situación que MSPE y MAPE, ya que también conlleva errores relativos más que absolutos. [19659046] Curva de error para RMSLE
Nota la asimetría de las curvas de error . Desde la perspectiva de RMSLE, siempre es mejor predecir más que la misma cantidad menor que el objetivo. Por lo tanto, conluimos que RMSLE penaliza una estimación inferior a la predicción mayor que una estimación sobre predicción.
RMSLE puede calcularse sin operación raíz, pero la versión rooteada es más utilizada.
Pasemos ahora a la pregunta sobre la mejor constante (Recuerde la conexión entre RMSLE y RMSE). En primer lugar, encontramos la mejor constante para RMSE en el espacio de registro que será la media ponderada en el espacio de registro. Y después de eso, necesitamos volver del espacio de registro al habitual con una transformación inversa.
Ejemplo
Constantes óptimas para diferentes evaluaciones de métricas de regresión en aprendizaje automático
Observaciones:
- La constante óptima para RMSLE resulta ser 9.1 que es más alta que las constantes tanto para MAPE como para MSPE.
- MSE es bastante sesgado hacia el gran valor de nuestro conjunto de datos mientras que MAE es mucho menos sesgado.
- MSPE y MAPE están sesgados hacia objetivos más pequeños porque asignan mayor peso al objeto con objetivos pequeños.
- RMSLE se considera con frecuencia como mejores métricas que MAPE , ya que es menos sesgada hacia objetivos pequeños, pero funciona con errores relativos.
Métricas de regresión en aprendizaje automático: Mensaje para llevar a casa
Le recomiendo que dedique algo de tiempo antes de comenzar un proyecto y piense en la medida adecuada, definitivamente lo ayudaría un mucho. Si le gusta este artículo, también puede leer Parte 1 .
Gracias por leer y espero escuchar sus preguntas:)
Esté atento y feliz aprendizaje automático. [19659015] PD Si desea aprender más sobre el mundo del aprendizaje automático, también puede seguirme en Instagram envíeme un correo electrónico directamente o búsqueme en linkedin [19659063] Me encantaría saber de usted.
Cómo seleccionar la métrica de evaluación correcta para modelos de aprendizaje automático: Métricas de regresión de la Parte 2 se publicó originalmente en Towards Data Science en Medium, donde las personas son continuar la conversación resaltando y respondiendo a esta historia.