Enfoques de aprendizaje automático para datos de series temporales
Esta publicación forma parte de una serie de publicaciones. La furgoneta de entrada inicial se encuentra aquí
Máquinas de aprendizaje automático extremo en machine learning
Las máquinas de aprendizaje automático extremo son una técnica de aprendizaje de máquina emergente importante.
El principal aspecto de estas técnicas es que no necesitan un proceso de aprendizaje para calcular los parámetros de los modelos.
Esencialmente, las máquinas de aprendizaje automático extremo en machine learning son una red neuronal de alimentación de una sola capa ( SLFN) .
La propiedad de aproximación universal implica que una máquina de aprendizaje extremo en machine learning puede resolver cualquier problema de regresión.
La teoría de las máquinas de aprendizaje automático extremo muestra que el valor del peso de esta capa oculta no necesita ser sintonizado y, por lo tanto, independiente de los datos de entrenamiento.
Con la precisión deseada, si tiene suficientes neuronas ocultas y datos de entrenamiento para aprender los parámetros de todas las neuronas ocultas.
Las máquinas de aprendizaje automático extremo en machine learning también se beneficia de la estructura y regularización del modelo.
Lo que reduce los efectos negativos de la inicialización aleatoria y el sobreajuste.
Dado Un conjunto de N muestras de entrenamiento (x, t).
Un SLFN con L salidas de neuronas ocultas son:
La relación entre el objetivo y las entradas y salidas de la red es:
Las neuronas ocultas están transformando los datos de entrada en una representación diferente en dos pasos.
Primero, los datos se proyectan en la capa oculta a través de los pesos y sesgos de la capa de entrada, y luego se aplican al resultado de esa función de activación no lineal.
En la práctica, las máquinas de aprendizaje extremo se resuelven como redes neuronales comunes en su matriz. La forma de la matriz se representa aquí:
Y aquí es donde viene la parte importante de este método.
Dado que T es el objetivo que queremos alcanzar, se puede encontrar una solución única para el sistema con la cámara de error de mínimos cuadrados utilizando Inverso generalizado de Moore-Penrose .
Por lo tanto, podemos calcular en una sola operación los valores de los pesos de la capa oculta que darán como resultado la solución con el menor error para predecir el objetivo T.
Este pseudoinverso se calcula utilizando la Singular Value Decomposition
En este artículo hay una descripción bien documentada en detalle sobre cómo funcionan las máquinas de aprendizaje extremo , y un paquete para High-Performance Toolbox para máquinas de aprendizaje extremo y su implementación en MATLAB y Python.
Creación de datos
El proceso de creación de datos y ventanas se explica en detalle en el publicación posterior de esta serie .
Modelo
https://medium.com/media/ed2edadbefcaf3ff3d1ed4daf57cc176/href
Sin teniendo en cuenta los valores anteriores de y como características
https://medium.com/media/0200673955b7ee22e922cdae3ed49106/href
RMSE = 3.77 Tiempo para entrenar 0.12
Teniendo en cuenta valores anteriores de y como características
Máquinas de aprendizaje automático extremo: Conclusión
Podemos ver cómo las máquinas de aprendizaje automático extremo en machine learning tienen un gran poder de predicción sobre nuestros datos.
Además, obtuvieron resultados mucho peores en los que incluimos valores previos de la respuesta como predictores.
Definitivamente, las máquinas de aprendizaje automático extremo en machine learning son un modelo para seguir explorando.
Esta fue una implementación rápida que ya muestra su gran poder.Pudieron calcular esa precisión con simple inversión de matriz y pocas operaciones más.
Aprendizaje en línea
La ventaja más absoluta de las máquinas de aprendizaje automático extremo en machine learning es que son muy computacionales para implementar modelos en línea.
En este artículo hay más información sobre las operaciones de actualización y actualización.
En pocas líneas, podemos decir que el modelo se vuelve adaptativo, y si el error de predicción va más allá de un umbral establecido.
Esta información en particular el punto está incorporado en la SVD. Por lo que el modelo no requiere un entrenamiento completo costoso.
De esta manera, el modelo puede adaptarse y aprender de los cambios que podrían ocurrir en el proceso.
ML for TS: 3 – Extreme Learning Machines se publicó originalmente en Towards Data Science en Medium, donde las personas Continuamos la conversación resaltando y respondiendo a esta historia.