Cada modelo de machine learning intenta resolver un problema con un objetivo diferente utilizando un conjunto de datos diferente y, por lo tanto, es importante comprender el contexto antes de elegir una métrica.

Por lo general, las respuestas a la siguiente pregunta nos ayudan a elegir la métrica adecuada:

  • Tipo de tarea: ¿Regresión? Clasificación?
  • Objetivo empresarial?
  • ¿Cuál es la distribución de la variable objetivo?

Bueno, en este post, voy a discutir la utilidad de cada métrica de error en función del objetivo y el problema que estamos tratando de resolver. Part1 se centra únicamente en las métricas de la evaluación de regresión.

Métricas de regresión

  • Error cuadrático medio (MSE)
  • Error cuadrático medio (RMSE)
  • Error absoluto medio (MAE) [19659003] R Squared (R²)
  • R ajustado ajustado (R²)
  • Error medio porcentual cuadrado (MSPE)
  • Error absoluto medio porcentual (MAPE)
  • Error logarítmico cuadrado medio de la raíz (RMSLE)

Mean Squared Error (MSE)

Es quizás la métrica más simple y común para la evaluación de regresión, pero también probablemente la menos útil. Se define por la ecuación

donde yᵢ es el resultado esperado real y ŷᵢ es la predicción del modelo.

MSE básicamente mide el error cuadrado promedio de nuestras predicciones. Para cada punto, calcula la diferencia cuadrada entre las predicciones y el objetivo y luego promedia esos valores.

Cuanto más alto sea este valor, peor será el modelo. Nunca es negativo, ya que estamos cuadrando los errores individuales de predicción antes de sumarlos, pero sería cero para un modelo perfecto.

Ventaja: Útil si tenemos valores inesperados que nos deberían importar acerca de. Vey alto o bajo valor que debemos prestar atención.

Desventaja: Si hacemos una sola predicción muy mala, la cuadratura empeorará el error y puede sesgar la métrica para sobreestimar la maldad del modelo. . Ese es un comportamiento particularmente problemático si tenemos datos ruidosos (es decir, datos que por alguna razón no son del todo confiables), incluso un modelo “perfecto” puede tener un MSE alto en esa situación, por lo que es difícil juzgar qué tan bien el modelo está funcionando. Por otro lado, si todos los errores son pequeños, o más bien, menores que 1, se siente el efecto contrario: podemos subestimar la maldad del modelo.

Tenga en cuenta que si queremos tener un predicción constante la mejor será el valor medio de los valores objetivo. Se puede encontrar al establecer la derivada de nuestro error total con respecto a esa constante en cero, y encontrarla a partir de esta ecuación.

Error cuadrático medio de raíz (RMSE)

RMSE es solo la raíz cuadrada de MSE. La raíz cuadrada se introduce para hacer que la escala de los errores sea la misma que la escala de los objetivos.

Ahora, es muy importante entender en qué sentido RMSE es similar a MSE, y cuál es la diferencia.

En primer lugar, son similares en términos de minimizadores, cada minimizador de MSE es también un minimizador para RMSE y viceversa ya que la raíz cuadrada es una función no decreciente. Por ejemplo, si tenemos dos conjuntos de predicciones, A y B, y dijimos que MSE de A es mayor que MSE de B, entonces podemos estar seguros de que RMSE de A es mayor RMSE de B. Y también funciona en la dirección opuesta .

¿Qué significa para nosotros?

Significa que, si la métrica objetivo es RMSE, aún podemos comparar nuestros modelos utilizando MSE, ya que MSE ordenará los modelos de la misma manera que RMSE. Por lo tanto, podemos optimizar MSE en lugar de RMSE.

De hecho, MSE es un poco más fácil de trabajar, por lo que todos usan MSE en lugar de RMSE. También hay una pequeña diferencia entre los dos modelos basados ​​en gradiente.

Gradiente de RMSE con respecto a la predicción i-ésima

Significa que viajar a lo largo del gradiente MSE es equivalente a viajar a lo largo del gradiente RMSE pero con un flujo diferente la tasa y la tasa de flujo depende de la puntuación MSE en sí.

Por lo tanto, aunque RMSE y MSE son muy similares en términos de puntuación de modelos, no pueden intercambiarse de forma inmediata para métodos basados ​​en gradiente. Probablemente necesitemos ajustar algunos parámetros como la tasa de aprendizaje.

Error Absoluto Medio (MAE)

En MAE, el error se calcula como un promedio de diferencias absolutas entre los valores objetivo y las predicciones. El MAE es un puntaje lineal, lo que significa que todas las diferencias individuales se ponderan por igual en el promedio. Por ejemplo, la diferencia entre 10 y 0 será el doble de la diferencia entre 5 y 0. Sin embargo, no es cierto para RMSE. Matemáticamente, se calcula usando esta fórmula:

Lo que es importante acerca de esta métrica es que penaliza los errores enormes que no tan mal como lo hace MSE. Por lo tanto, no es tan sensible a los valores atípicos como error cuadrático medio.

MAE se utiliza ampliamente en las finanzas, donde el error de $ 10 suele ser exactamente dos veces peor que el error de $ 5. Por otro lado, MSE metric cree que el error de $ 10 es cuatro veces peor que el error de $ 5. MAE es más fácil de justificar que RMSE.

Otra cosa importante acerca de MAE son sus gradientes con respecto a las predicciones. El gradiente es una función de paso y toma -1 cuando Y_hat es más pequeño que el objetivo y +1 cuando es más grande .

Ahora, el gradiente no se define cuando la predicción es perfecta, porque cuando Y_hat es igual a Y, no podemos evaluar el gradiente. No está definido.

Así que, formalmente, MAE no es diferenciable, pero de hecho, con qué frecuencia sus predicciones miden perfectamente el objetivo. Incluso si lo hacen, podemos escribir una condición IF simple y return cero cuando sea el caso y, a través de gradiente de lo contrario. También sepa que la segunda derivada es cero en todas partes y no está definida en el punto cero.

Tenga en cuenta que si queremos tener una predicción constante, la mejor será el valor medio de los valores objetivo . Se puede encontrar estableciendo la derivada de nuestro error total con respecto a esa constante en cero, y encuéntrala a partir de esta ecuación.

R Cuadrado (R²)

Ahora, ¿y si te dijera que MSE? para mis modelos, las predicciones son 32? ¿Debo mejorar mi modelo o es lo suficientemente bueno? ¿Y si mi MSE fuera 0.4? En realidad, es difícil darse cuenta si nuestro modelo es bueno o no, al observar los valores absolutos de MSE o RMSE. Probablemente querríamos medir cómo nuestro modelo es mucho mejor que la línea de base constante.

El coeficiente de determinación, o R² (a veces leído como R-dos), es otra medida que podemos usar para evaluar un modelo y está estrechamente relacionado con MSE, pero tiene el ventaja de estar sin escala - no importa si los valores de salida son muy grandes o muy pequeños, el R² siempre va a estar entre -∞ y 1. [19659019] Cuando R² es negativo, significa que el modelo es peor que la predicción de la media.

El MSE del modelo se calcula como se indica anteriormente, mientras que el MSE de la línea base se define como:

donde y con una barra es la media de lo observado yᵢ.

Para hacerlo más claro, este MSE de referencia puede ser th debería ser como el MSE que obtendría el modelo más simple posible . El modelo más simple posible sería siempre predecir el promedio de todas las muestras. Un valor cercano a 1 indica un modelo con error cercano a cero, y un valor cercano a cero indica un modelo muy cercano a la línea base.

En conclusión, R2 es la relación entre cuán bueno es nuestro modelo y cómo bueno es el modelo ingenuo.

Error común: Muchos artículos en la web indican que el rango de R² se encuentra entre 0 y 1, lo que en realidad no es cierto. El valor máximo de R² es 1, pero el mínimo puede ser menos infinito.

Por ejemplo, considere un modelo realmente repugnante que predice un valor altamente negativo para todas las observaciones, aunque y_actual sea positivo. En este caso, R² será menor que 0. Este es un escenario altamente improbable pero la posibilidad aún existe.

MAE vs MSE

Declaré que MAE es más robusto (menos sensible a los valores atípicos) que MSE pero esto no no significa que siempre es mejor usar MAE. Las siguientes preguntas lo ayudarán a decidir:

Mensaje para llevar a casa

En este artículo, analizamos varias métricas de regresión importantes. Primero discutimos, Mean Square Error y nos dimos cuenta de que la mejor constante para él es el valor objetivo medio. Root Mean Square Error, y R² son muy similares a MSE desde la perspectiva de la optimización. Luego hablamos del error absoluto medio y cuando las personas prefieren usar MAE sobre MSE.

Gracias por leer y espero escuchar sus preguntas:)
Y, 👏 si esto fue una buena leer. ¡Disfruta!

P.S Ten cuidado con mi próximo artículo que estudia otras métricas de regresión más avanzadas. Si desea aprender más sobre el mundo del machine learning, también puede seguirme en Instagram envíeme un correo electrónico directamente o búsqueme en linkedin . Me gustaría saber de usted.

Cómo seleccionar la métrica de evaluación correcta para modelos de aprendizaje automático: Parte 1 Métricas de regresión se publicó originalmente en Towards Data Science en Medium, donde las personas son continuar la conversación resaltando y respondiendo a esta historia.