15ème Édition de l'École d'Été en Traitement du Signal et des Images

Le thème 2021

Crédit : asb63 - stock.adobe.com

L'édition 2021 qui a eu lieu du 20 au 27 juin 2021 avait pour thématique principale :

Traitement du Signal et des Images pour la co-conception de systèmes imageurs innovants : physique, mathématique, algorithmes

Résumé

L'École d'Été 2021 est identique à celle de 2020 qui a du être reportée à cause de la pandémie de COVID-19.

Pour établir un capteur en co-conception il faut inventer un mariage intime entre la physique d’acquisition et les modèles de reconstruction du signal d’intérêt conduisant à dépasser les limites de la physique. Ces nouveaux systèmes hybrides optique / capteurs / traitement numériques permettent une augmentation des performances que ce soit en termes de résolution spatiale ou spectrale, plage dynamique, efficacité photonique, et donnent ainsi accès à des informations non atteignables auparavant. Modéliser et optimiser globalement l’ensemble est une tâche ardue. La co-conception inclut les systèmes par compressed sensing, le domaine de la photographie numérique qui est très vaste et voit naître de nouveaux capteurs très régulièrement comme les caméras hyperspectrales, plénoptiques, sans lentilles ou par micro-miroirs, les multiples systèmes de super-résolution en microscopie pour ne citer que quelques exemples.

Informations

L'essentiel

L'affiche

Le comité d'organisation

Présidence
Direction scientifique
  • Andrés Almansa, Directeur de Recherche CNRS, MAP5, Université Paris Descartes
  • Laure Blanc-Féraud, Directrice de Recherche CNRS, I3S, Université Nice Sophia Antipolis

Le programme détaillé

  • Physique d'acquisition d'images (5 h)
    Corinne, Fournier, Maitresse de Conférences, Laboratoire Hubert-Curien (St Etienne)
    Jerôme Vaillant, Ingénieur de Recherche , CEA

    Après une introduction à l’imagerie non conventionnelle, nous détaillerons des modèles optiques/numériques de formation d’image en imagerie cohérente et en imagerie incohérente. Des méthodes de traitement d’images non conventionnelles seront ensuite exposées en prenant comme exemple l’imagerie interférométrique. Un exemple de co-conception optique/ traitements numériques sera présenté.


  • Quelques aspects mathématiques des problèmes inverses linéaires (5 h)
    Pierre Weiss, Chargé de Recherche CNRS, Université de Toulouse

    1. Préliminaires
      • Avertissement
      • Un peu de théorie de la mesure
      • Quelques espaces fonctionnels
    2. Quelques exemples de problèmes inverses linéaires
      • La déconvolution
      • Super-résolution en microscopie optique/SMLM
      • L’échantillonnage compressé
      • Le cadre de travail général
    3. Opérateurs intégraux
      • Définitions
      • Opérateurs de Hilbert-Schmidt
      • Théorie spectrale
      • Des cadres plus généraux que les Hilbert
      • Discrétisation et calcul d’opérateurs
    4. Régularisation convexe et garanties théoriques
      • Régularisation linéaire (Tikhonov) et ses limites
      • Théorèmes de représentation et points extrémaux
      • Optimisation sur des espaces de mesures
      • Quelques notions d’échantillonnage compressé


  • Modélisation et démarche d'optimisation en co-conception : principes génériques et exemples concrets (5 h)
    Pauline Trouvé, Ingénieur de Recherche, ONERA
    Yohann Tendero, Maitre de Conférence , Telecom Paris
    Cours 1 : Yohann Tendero : Modèles discret/discret ou continu/discret

    La scène observée est souvent modélisée par une fonction continue mais les traitements sont tous appliqués à une version discrète finie obtenue par un capteur imageur. Partant, deux modélisations alternatives sont explorées dans la littérature notamment pour l’ouverture papillonnante (“flutter shutter”). L’ouverture papillonnante est une généralisation de la photographie conventionnelle qui propose de moduler temporellement le flux de photons entrant dans la caméra pour rendre inversible des flous de bougé arbitrairement sévères. Une première modélisation considère seulement l’aspect discret fini des données l’autre prend en compte l’effet de l’échantillonnage du capteur. En utilisant l’exemple de l’ouverture papillonnante nous construirons ces deux modèles paramétriques pour ce type de caméra.

    Cours 2 et 3 : Pauline Trouvé : Modèles en co-conception et démarches d’optimisation associées

    Après une brève introduction sur le domaine de la photographie computationnelle seront présentés quelques outils de modélisation des composants d’un imageur (modélisation de l’optique, capteur et du traitement), ainsi que quelques modèles de performance permettant de caractériser la performance globale d’un imageur pour une tâche donnée. Nous étudierons alors des exemples de co-conception issus du domaine de la photographie computationnelle, allant de l’optimisation de quelques paramètres d’une optique, à l’optimisation d’un système optique complet.

    Cours 4 : Yohann Tendero : Exemples d’optimisation - choix du modèles discret/discret vs continu/discret

    Les cours précédents proposent des modèles de caméra et des mesures de performances (eg RMSE, SNR). Nous reprendrons les deux modèles paramétriques de caméra flutter shutter et estimerons la qualité maximale atteignable selon ces deux modèles en optimisant les paramètres de ces modèles. Nous proposerons des éléments de conclusion quant à la validité de ces modèles.

    Cours 5 : Pauline Trouvé : Deep Codesign

    Aujourd’hui, le développement massif de traitement par réseaux de neurones soulève de nouvelles problématiques de co-conception. Récemment ont émergées de nouvelles approches de conception dans lesquelles l’optique est modélisée comme une couche paramétrique d’un réseau de neurones et les paramètres optique et traitement sont optimisés conjointement à l’aide des outils d’optimisation des réseaux de neurones. Dans ce cours seront présentés des exemples de l’état de l’art récent utilisant cette approche, ainsi que les travaux développés et en cours de développement à l’ONERA sur cette thématique.


  • Introduction à l'optimisation bayésienne (2 h)
    Julien Bect, Maitre de conférences, CentraleSupélec

    L'optimisation bayésienne est une technique à la fois ancienne et récente : en effet, bien qu'on puisse faire remonter les premiers travaux sur le sujet aux années 60-70 (Kushner, Mockus, Zilinskas...), l'optimisation bayésienne n'a véritablement pris son essor qu'à la fin des années 90 avec l'article fondateur de Jones, Schonlau et Welch (J. Global Optim., 1998), et plus encore depuis une dizaine d'années avec l'application de l'optimisation bayésienne au réglage des algorithmes d'apprentissage statistique. Le cadre d'application est celui des problèmes d'optimisation faisant intervenir une (ou plusieurs) fonction(s) coûteuse(s) à évaluer, associées à un simulateur numérique du système à optimiser. Le simulateur, déterministe ou stochastique, est considéré comme une "boîte noire", et les gradients ne sont généralement pas supposés disponibles. L'idée générale consiste alors à tirer parti d'un modèle statistique (classiquement un processus gaussien) pour choisir au mieux les évaluations à effectuer dans le cadre d'une procédure d'optimisation à budget limité.

    Ce cours présentera et illustrera les principes de base de l'optimisation bayésienne :

    1. Modélisation par processus gaussien.
    2. Principes fondamentaux. Illustration avec le cas de l'optimisation mono-objectif.
    3. Survol de quelques extensions : optimisation multi-objectif et contraintes d'inégalités.

  • Optimisation de critères bi-niveau pour l'estimation des hyper-paramètres en problèmes inverses pour l'imagerie (2 h)
    Luca Calatroni, Chargé de Recherche CNRS , I3S Sophia Antipolis

    Ce cours porte sur le problème de l'estimation paramétrique des modèles variationnelles pour l’analyse et le traitement d’images du point de vue théorique et algorithmique par méthodes d’optimisation bi-niveau (Kunisch, Pock, ‘13, De Los Reyes, Schoenlieb, ‘13). Dans cette approche, les différents paramètres caractérisants le terme de régularisation, d'attache aux données et la balance entre les deux sont estimés comme les minimiseurs d’un problème d’optimisation imbriqué où le modèle variationnel de reconstruction (souvent, non-lisse et/ou non-convexe) est utilisé comme contrainte d’un problème d'optimisation ultérieur qui maximise la qualité de la reconstruction (SNR, SSIM…) par rapport à des exemples d’apprentissage.

    Dans la première partie du cours, on fournira des éléments sur la modélisation du problème dans le cas discret (avec un aperçu aux extensions dans espaces fonctionnels), en précisant les résultats théoriques existants. Pour la réalisation numérique du modèle, on discutera l’utilisation des méthodes d’optimisation de deuxième ordre (SemiSmooth Newton) combinées à des stratégies stochastiques.

    Dans la deuxième partie du cours on présentera les résultats obtenus pour différentes tâches (apprentissage du modèle de bruit, du terme de régularisation etc.) ainsi que les extensions récentes de cette approche au cas de problèmes inverses aveugles et réseaux variationnels.


  • Retour d'expérience de la mission spatiale SMOS au service de le co-conception de la future mission SMOSHR (2 h)
    Eric Anterrieu, Ingénieur de Recherche CNRS, CESBIO Toulouse

    Ce cours s’appuie sur le retour d’expérience de la mission spatiale SMOS pour montrer l’importance de la simulation numérique d’instrument et du dialogue entre les personnes qui conçoivent l’instrument, celles qui construisent les chaînes de traitement et celles qui exploitent ensuite les données scientifiques.

    Après 10 ans de bons et loyaux services, SMOS est toujours opérationnel et dans des conditions de fonctionnement et de performances nominales. Les résultats remarquables obtenus tout au long de la mission invitent naturellement la communauté scientifique internationale à songer aux successeurs de SMOS et à engager dès à présent les études nécessaires pour assurer une continuité des observations. C’est précisément l’objet des travaux conduits depuis plusieurs mois au CESBIO et au CNES en collaboration avec le monde industriel et le secteur académique. Afin de tirer les leçons de cette première expérience conduite avec SMOS dans un cadre exploratoire (Earth Explorer Missions du programme Living Planet de l’ESA), la notion de co-conception a été étendue par rapport à ce qu’elle était au moment de la conception de SMOS dans les années 90 pour parvenir à une mission SMOShr aux objectifs ambitieux: améliorer la résolution spatiale à 10 Km sans dégrader la sensibilité radiométrique, ni le temps de revisite. Ainsi, pour la première fois, le modèle numérique d’instrument utilisé pour inverser les visibilités complexes a été couplé aux algorithmes d’inversion des températures de brillance pour valider les choix de paramètres instrumentaux au niveau des produits finaux « humidité des sols » et « salinité des océans », suivant ainsi à la lettre la notion de « co-conception » utilisée lors du développement d’un produit ou d’un service.

    Dans une première partie ce cours reviendra sur la mission SMOS pour aborder dans une seconde partie SMOShr. On présentera quelques résultats des études conduites dans ce contexte. Le choix du réseau interférométrique (plusieurs géométries ont été étudiées), du nombre d’antennes, de leur espacement et de leur diagramme de rayonnement sera au cœur de la présentation. Sur le plan des méthodes, nous montrerons leur influence sur la stabilité des algorithmes de reconstruction mis en œuvre dans la chaîne de traitement. Du point de vue des performances de l’instrument, nous montrerons notamment leur impact sur la résolution spatiale, la sensibilité radiométrique et le temps de revisite. Nous terminerons par les résultats des compromis et sur les candidats actuellement retenus pour poursuivre ces études.