Prévision de Séries Temporelles avec TensorFlow et xLSTM

Dans le monde axé sur les données d'aujourd'hui, prédire les tendances futures basées sur des données historiques est crucial. Pour améliorer la prévision des séries temporelles multivariées, nous avons entrepris un projet visant à développer un modèle xLSTM (Long Short-Term Memory étendu) avancé en utilisant TensorFlow. Les résultats ont démontré la capacité du modèle à fournir des prédictions précises.

1. Pourquoi xLSTM ?

Les modèles LSTM traditionnels sont largement utilisés dans les prévisions de séries temporelles en raison de leur capacité à capturer les dépendances à long terme dans les données séquentielles. Cependant, pour des tâches plus complexes nécessitant la gestion de multiples caractéristiques d'entrée, une approche plus avancée est nécessaire. Le modèle xLSTM fusionne les forces des cellules LSTM standard (sLSTM) et des cellules LSTM multidimensionnelles (mLSTM), s'avérant efficace pour les jeux de données où plusieurs variables influencent les résultats.

2. Construction du Modèle

a. Préparation des Données

Le projet a commencé par la préparation des données, une étape clé dans tout projet d'apprentissage automatique. Nous avons généré un jeu de données synthétique pour simuler des scénarios réels, en incorporant plusieurs caractéristiques, y compris une variable cible représentant un prix de "clôture". Pour assurer une meilleure convergence lors de l'entraînement du modèle, nous avons utilisé le MinMaxScaler de Scikit-learn pour normaliser les caractéristiques d'entrée, les transformant dans une plage entre 0 et 1.

b. Architecture du Modèle

En utilisant l'API Keras de TensorFlow, nous avons construit le modèle xLSTM avec une architecture flexible adaptée au jeu de données spécifique. Le modèle se compose de plusieurs composants clés :

• Portes Exponentielles : Ces portes apprennent les relations non linéaires dans les données, améliorant la capacité du modèle à capturer des schémas complexes.
• Cellules sLSTM : Ces cellules gèrent les dépendances à long terme dans les données séquentielles, cruciales pour la prévision des séries temporelles.
• Cellules mLSTM : Les cellules LSTM multidimensionnelles étendent les LSTM traditionnels, permettant plusieurs dimensions d'entrée.
• Blocs xLSTM : L'architecture permet de basculer entre les cellules sLSTM et mLSTM en fonction de la configuration, offrant une flexibilité pour différentes complexités de jeux de données.
• Couche de Sortie Dense : Ajoutée à la fin du modèle pour produire des prédictions basées sur les sorties des blocs LSTM, mappant les représentations apprises aux valeurs prédites réelles.

Nous avons compilé le modèle en utilisant l'optimiseur Adam et l'erreur quadratique moyenne (MSE) comme fonction de perte pour assurer un apprentissage efficace à partir des données d'entraînement.

Le code du modèle xLSTM est disponible sur notre répertoire GitHub.

c. Processus d'Entraînement

Nous avons entraîné le modèle sur un jeu de données substantiel avec une période de rétroaction de 60 pas de temps. Cette approche a permis au modèle de capturer les dépendances temporelles et a fourni un contexte suffisant pour une prévision précise. Pendant l'entraînement, des séquences de données historiques ont été introduites dans le modèle pour l'aider à apprendre des schémas complexes et les relations entre les caractéristiques au fil du temps.

3. Test et Validation

Une fois l'entraînement terminé, nous avons évalué le modèle sur un jeu de données de test séparé. Les principaux indicateurs de performance comprenaient :

• Erreur Quadratique Moyenne (RMSE) : 4.0924
• Erreur Absolue Moyenne (MAE) : 3.2677
• Coefficient de Détermination (R²) : 0.991

Ces résultats indiquent une forte correspondance entre les valeurs prédites et les résultats réels, confirmant la fiabilité du modèle xLSTM pour la prévision des séries temporelles multivariées.

4. Implications pour les Travaux Futurs

La mise en œuvre réussie du modèle xLSTM démontre son potentiel pour l'analyse complexe des séries temporelles dans divers domaines, y compris la finance, la gestion de la chaîne d'approvisionnement et la maintenance prédictive. En tirant parti de techniques avancées d'apprentissage profond comme xLSTM au sein de TensorFlow, des prédictions et des insights précis peuvent favoriser l'amélioration des processus décisionnels.

5. Conclusion

Le développement et le test du modèle xLSTM en utilisant TensorFlow ont mis en évidence son efficacité à gérer des données de séries temporelles complexes. Ces résultats positifs soulignent le potentiel des cadres d'apprentissage profond modernes pour améliorer les capacités prédictives et valident la poursuite de l'exploration de techniques de modélisation innovantes pour les projets futurs.