Stage de M2

Contact: Julien Michel julien.michel4@univ-tlse3.fr

Titre: Apprentissage automatique d'une représentation générique des bandes spectrales pour un modèle de fondation

Le projet RELEO (Representation Learning for Earth Observation) vise à développer une architecture de réseaux de neurones permettant, à partir de toutes les données de télédétection disponibles pour une localisation et une période donnée, de produire des cartes de Variables Essentielles Climatiques (ECV) et pour la Biodiversité (EBV). Un des challenges de RELEO réside dans la versatilité de cette architecture unique, qui doit être capable de traiter un nombre variable d'images satellite de résolution spatiale, d'instant d'acquisition et de contenu spectral différent, y compris des types de données qui n'ont pas servi à entraîner le modèle, sans ré-entrainement ni adaptation du réseau. Cette problématique se pose pour chacune des dimensions : spatiale, temporelle et spectrale.

Les travaux envisagés dans le cadre de ce stage se concentreront sur l'apprentissage d'un modèle générique pour la dimension spectrale. Il existe déjà des tentatives dans la littérature des modèles de fondation (par ex. DOFA [1]). Par ailleurs dans le cadre de RELEO, la variabilité des tailles des différentes dimensions conduit naturellement à l'utilisation d'architectures de réseau basées sur l'attention, telles que le Transformer [2] ou le PerceiverIO [3]. Néanmoins, pour qu'une telle architecture apprenne une représentation générique du domaine spectral, il faut lui présenter à l'entraînement une grande variabilité de configurations spectrales, bien au-delà des quelques capteurs spatiaux mobilisables. Là où d'autres travaux utilisent des bases de données de spectres pour générer des données d'entraînement peu représentatives de l'imagerie satellite [4], l'originalité de l'approche étudiée dans le stage consiste à mobiliser ProSailVAE [5], un mécanisme d'inversion des paramètres de la végétation du code de transfert radiatif ProSail à partir d'images satellites Sentinel-2. En effet, une fois ces paramètres inversés pour une image donnée, il est possible d'utiliser ProSail pour simuler une grande diversité de bandes spectrales. Ces données synthétiques pourront dès lors servir à entraîner un encodeur générique des bandes spectrales par Masked Auto-Encoder (MAE) de manière similaire à SpectralMAE [6].

L'objectif de ce stage de recherche est de démontrer expérimentalement la pertinence de l'approche, dans l'optique d'une intégration au schéma général du projet RELEO.

[1] Xiong, Z., Wang, Y., Zhang, F., Stewart, A. J., Hanna, J., Borth, D., Papoutsis, I., … (2024). Neural plasticity-inspired multimodal foundation model for earth observation.
[2] Vaswani, A. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
[3] Jaegle, A., Borgeaud, S., Alayrac, J., Doersch, C., Ionescu, C., Ding, D., Koppula, S., … (2021). Perceiver io: a general architecture for structured inputs \& outputs.
[4] E. King, J. Rodriguez, D. Llanes, T. Doster, T. Emerson and J. Koch, "Stars: Sensor-Agnostic Transformer Architecture for Remote Sensing," 2024 14th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS), Helsinki, Finland, 2024, pp. 1-6, doi: 10.1109/WHISPERS65427.2024.10876423.
[5] Yo\"el Z\'erah, Valero, S., & Inglada, J. (2024). Physics-constrained deep learning for biophysical parameter retrieval from sentinel-2 images: inversion of the prosail model. Remote Sensing of Environment, 312(nil), 114309.
[6] Zhu, L., Wu, J., Biao, W., Liao, Y., & Gu, D. (2023). Spectralmae: spectral masked autoencoder for hyperspectral remote sensing image reconstruction. Sensors, 23(7), 3728.