Stochastic Recipes in Image Processing

Séjour d’étude organisé par Julie Delon du 16 au 21 Mai 2022

Participants

Agnès Desolneux (CNRS et ENS Paris-Saclay), Julie Delon (Université de Paris), Bruno Galerne (Université d’Orléans) et Valentin De Bortoli (CNRS et ENS de Paris).

Résumé 

Photographie de la maison Pertus de la Fondation des Treilles, à laquelle on a donné le style du tableau Les Iris, de Van Gogh.

Le but de ce séjour d’étude à la Fondation des Treilles au printemps 2022 était d’avancer dans la rédaction à quatre mains du livre intitulé Stochastic Recipes in Image Processing. Ce livre, écrit par Agnès Desolneux, Julie Delon, Bruno Galerne et Valentin De Bortoli, présente de manière pédagogique un panorama de modèles et approches stochastiques utilisés en traitement et analyse des images. Il couvre des modèles classiques et historiques aussi bien que des sujets de recherche très récents, notamment parmi ceux s’appuyant sur les développements en intelligence artificielle (apprentissage automatique et réseaux de neurones profonds).

Abstract

The goal of this study period at the Fondation des Treilles in the spring of 2022 was to progress in the writing of the book Stochastic Recipes in image processing. This book, written by Agnès Desolneux, Julie Delon, Bruno Galerne and Valentin De Bortoli, presents in a pedagogical way a panorama of stochastic models and approaches used in image processing and image analysis. It covers classical and historical models of the domain, as well as very recent research topics, especially those based on developments in artificial intelligence (machine learning and deep neural networks).

Compte rendu

Ce séjour d’étude à la Fondation des Treilles au printemps 2022 avait pour objectif de rassembler les autrices et auteurs du livre “Stochastic Recipes in image processing”, Agnès Desolneux, Julie Delon, Bruno Galerne et Valentin De Bortoli, pour une semaine intensive de rédaction et de travail. Ce livre, en cours d’écriture, présente plusieurs avancées récentes en mathématiques de l’aléatoire pour le traitement des images, ainsi que les grands thèmes de recherche de ces dernières décennies sur le sujet. Le livre s’adresse aux étudiant.e.s en master, ainsi qu’aux chercheurs et chercheuses en probabilité et statistique qui souhaiteraient appliquer les modèles qu’ils étudient à des données concrètes. Plus largement, il s’adresse à celles et ceux qui souhaitent en savoir plus sur les fondements théoriques des algorithmes utilisés en traitement des images. Ce livre prend ses racines dans un cours de M2 donné par les autrices et auteurs au master MVA (Master Mathématiques, Vision et Apprentissage) à l’ENS Paris-Saclay depuis plus de 10 ans.

Afin de toucher un large public, nous avons choisi pour ce livre une forme originale, inspirée des livres de recettes de cuisine. Les techniques mathématiques sont présentées dans un premier temps sous la forme d’ingrédients, et leur utilisation pratique dans des algorithmes de traitement d’image est ensuite introduite sous la forme de recettes, en précisant quels ingrédients sont utiles. Nous espérons ainsi toucher à la fois les théoriciens, et les mathématicien.ne.s et informaticien.ne.s plus appliqué.e.s du domaine.

Le domaine du traitement des images est en effet interdisciplinaire par nature, faisant collaborer l’informatique et les mathématiques pour résoudre des problèmes complexes. Il emprunte à de nombreuses sous-disciplines des mathématiques, incluant l’algèbre, l’analyse fonctionnelle, l’analyse harmonique, la théorie de l’approximation, les probabilités, les statistiques, l’optimisation, la géométrie stochastique, les équations aux dérivées partielles, etc. Parmi ces disciplines, certaines manipulent des objets dits aléatoires ou stochastiques, et l’ouvrage en cours de rédaction s’intéresse plus particulièrement à ce type d’outils et d’objets.

En particulier, une partie du livre se focalise sur plusieurs développements récents dans le domaine de l’intelligence artificielle, souvent basés sur des réseaux de neurones profonds. Etant données les avancées récentes dans ce domaine, ce livre représente une occasion pour nous de faire le point et de prendre du recul sur la quantité impressionnante de techniques développées depuis dix ans, la “révolution” de l’apprentissage profond ayant débuté en 2012 avec le réseau de neurones AlexNet^[1], qui avait permis un réel bon en avant en classification d’images.

Les techniques mathématiques abordées dans ce livre couvrent de nombreux sujets, en particulier les processus gaussiens, l’approximation stochastique, le transport optimal, les méthodes de Monte Carlo par chaînes de Markov, l’inférence bayésienne, les réseaux de neurones, les techniques statistiques pour l’apprentissage automatique et les méthodes par maximum d’entropie.

L’interaction entre ces outils théoriques et le traitement d’image est au cœur de méthodologies récentes de traitement d’image, dont certaines n’ont jamais été présentées dans un livre. Nous pensons que la présentation pédagogique de ces outils mathématiques peut être une réelle source d’inspiration pour les lecteurs et lectrices développant des algorithmes de traitement de données. Par ailleurs, cet ensemble de méthodes quasiment toutes liées à des travaux de recherche relativement récents fournira de nombreuses illustrations concrètes pour les étudiants en Master de mathématiques. Il nous tient en effet à cœur de promouvoir l’utilité des mathématiques de l’aléatoire dans des applications numériques très concrètes.

Le livre Stochastic recipes in image processing couvre de nombreuses applications différentes du traitement d’images, que ce soit la restauration d’image (réduire le flou, réduire le bruit, remplir des zones manquantes, etc), l’interprétation du contenu des images, le traitement de la couleur ou du contraste, ou la synthèse et génération d’images numériques, qui est un sujet en plein essor. A nouveau, certains des sujets présentés n’avaient jamais été abordés de manière globale dans un ouvrage auparavant.

L’ouvrage en préparation est accompagné d’un site internet contenant une collection de travaux pratiques en ligne (appelés notebooks et codés dans le langage informatique Python), permettant à celles et ceux qui le souhaitent de voir concrètement comment sont codés les algorithmes présentés, et de les tester en ligne très simplement, sans avoir besoin de beaucoup de connaissances préalables sur le sujet. L’interaction entre le livre et le site web présentant les algorithmes est pensée de manière à rendre l’apprentissage plus interactif, et à offrir aux personnes ayant un profil plus théorique un moyen simple de tester les méthodes présentées.

^[1] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.