FIAT LUX

Fusion d’ImAgerie et suivi Temporel pour L’étude de peintUres à géométrie compleXe

  • Actualités
  • projet
  • objectifs
  • Programme Scientifique
  • expérimentation
  • Équipe

objectifs et caractère ambitieux

Acquis scientifique

 

Le domaine de la documentation numérique des objets patrimoniaux a vu la naissance et le développement, dans les vingt dernières années, de méthodes d’acquisition et reconstruction tridimensionnelle utilisant la photogrammétrie et les techniques de balayage laser dans le but d’analyser des artéfacts 3D[1]. Ces techniques de numérisation 3D peuvent être enrichies par les valeurs colorimétriques de textures ou par des valeurs de réflectance retournées par les matériaux[2] et, d’autre part, permettent d’extraire des informations métriques.

En plus de ces dispositifs, dans le domaine de la conservation des biens culturels, les nouvelles techniques de contrôle non destructif (NDT) sont devenues un moyen important d’investigation technique et scientifique pour la compréhension des phénomènes de dégradation et pour l’aide à la définition des besoins d’un bien culturel en matière de restauration, de conservation et de documentation[3].

Concernant l’aspect spécifique de l’imagerie, aujourd’hui les peintures sont analysée numériquement en utilisant différentes techniques allant de simples images aux images multispectrales, aux images à haute plage de dynamique (HDR), rayons X, images de fluorescence sous rayonnement UV, réflectographie infrarouge[4]. Les techniques les plus fréquemment utilisées sont celles basées sur les images spectrales[5] capables de rendre une fidélité totale de la couleur. Parmi ces techniques, la plus diffuse est certainement la spectroscopie, qui permet d’obtenir le spectre de chaque partie de l’œuvre. Mais, au-delà de la couleur, la complexité des peintures est également due aux composantes spéculaires réflectives. Ainsi, modéliser la fonction de distribution bidirectionnelle de réflectance (BRDF), qui décrit comme la lumière incidente sur une surface réfléchie dans un continuum de direction, est un aspect essentiel pour documenter et visualiser les propriétés réelles de l’œuvre[6]. Différentes solutions ont été développées pour cela : une des plus efficaces[7] permet une estimation des propriétés de réflectance spatialement variable par pixel sur une surface (incluant la transfluence) et les données de formes, mais est très chère et très difficile à utiliser par les non experts. Une autre solution est les Polynomial Texture Maps (PTM)[8]. Pour surmonter ces problèmes, une nouvelle solution a été développée par le L2EI, qui acquiert le dessin à l’aide d’une caméra RVB et une source de lumière, puis effectue sa visualisation, rendant comme une image graphique d’ordinateur dans toutes les conditions d’éclairage et d’observation.

Par ailleurs, des premières expériences d’intégration d’informations hétérogènes de données issues de techniques d’imagerie et d’analyses différentes, concernant l’état de conservation d’un bien culturel ont été réalisées par l’intermédiaire de SIG et de bases de données[9]. Plus récemment, des expériences ont montré la nécessité de gestion de cette intégration au sein de systèmes d’informations 3D à référence spatiale basés sur des approches de description sémantique[10].

Les travaux menés, avec en particulier la participation du MAP, du CICRP et du LRMH, sur la combinaison de données comme la photogrammétrie, l’imagerie scientifique, le LIBS et la thermographie infrarouge stimulée, afin de mettre en évidence la présence de sels hygroscopiques sous la surface peinte avant dégradation irréversible, ont donné des premiers résultats prometteurs[11].

Au niveau national, le projet ANR MONUMENTUM (Modélisation numérique et gestion de données pour la conservation des structures maçonnées), retenu dans le cadre de l’appel « Contenus et Interactions 2013» et qui voit la participation de trois équipes de ce consortium (MAP, CICRP et ENSG), se concentre en partie sur la fusion de données hétérogènes et sur le suivi temporel des phénomènes d’altération de surfaces.

Les avancées de ce projet, dont l’objectif principal concerne le développement d’un système d’informations spatialisées à l’échelle d’un édifice, mettent lourdement l’accent sur la nécessité d’identifier des solutions flexibles, portables et de simple mise en œuvre permettant d’acquérir et de mettre en relation des jeux de données sur la morphologie et sur les matériaux.

Cela nécessite l’identification d’une solution pour collecter (et interpréter) de façon intégrée et au sein d’un croisement de compétences, des données hétérogènes provenant de multiples capteurs et susceptibles de renseigner plusieurs aspects concernant la connaissance historique et la conservation de l’œuvre.

 


Verrous scientifiques et axes de recherche

 

Le défi interdisciplinaire ainsi identifié fait émerger trois verrous principaux.

Le premier verrou concerne la mise en cohérence géométrique et projective des données provenant de plusieurs capteurs et relatives à plusieurs échelles d’observation et d’analyse dans une large gamme spectrale au sein d’une représentation numérique intégrée.

Le projet va ainsi développer les axes suivants :

–        Acquisition multi-capteurs : définition des protocoles d’acquisition de l’imagerie métrique intégrant différents rayonnements dont le visible (photogrammétrie multi-vues, réflectance, imagerie scientifique, etc.). Des dispositifs d’acquisition expérimentaux (supports intégrés et robotisés pour l’acquisition multi-capteurs contrôlant également l’éclairage) seront étudiés et prototypés à partir de l’expérience que le MAP, l’ENSG-IGN, le LE2i et le CICRP ont cumulé dans ce domaine.

–        Fusion géométrique : à partir de procédure de calibration et orientation des capteurs (intégrant une attention particulière à l’étude des déformations optiques), on se concentrera sur la mise en cohérence projective d’images spatialisées au sein d’un référentiel géométrique commun afin de pouvoir propager les valeurs provenant des différents capteurs sur l’ensemble des images orientées[12]. La fusion intégrera également une approche de distribution spatiale multi-échelles (du centimètre au micromètre), en combinant les approches d’analyse et de traitement d’images développées par l’ENSG-IGN (photogrammétrie multi-vue pour la forme et l’apparence visuelle) et le LE2i (composantes spectrale et angulaire de la réflectance pour la microstructure).

 

Le deuxième verrou concerne la caractérisation spatialement localisée des matériaux constitutifs des couches picturales. Dans l’état actuel des connaissances, l’analyse multi- ou hyper-spectrale des matériaux nécessite un étalonnage en surface et en profondeur par analyse physico-chimique des matériaux.

Le projet va donc se concentrer sur :

–        La réalisation d’analyses physico-chimiques ponctuelles des matériaux des objets patrimoniaux depuis la surface vers la profondeur à l’aide de techniques portables (LIBS[13], micro-diffraction des rayons X, …) donnant des informations sur la chimie et la structure chimique. Cet axe s’appuiera sur l’expérience du LRMH et du LAMS.

–        Détermination de la répartition en profondeur des phases solides analysées en s’appuyant sur les développements les plus récents de la technique LIBS

–        Mise en relation des mesures ponctuelles (spatialisées) réalisés par analyse physico-chimique avec les données acquises par imagerie multi- et hyper- spectrale. Afin de créer un contexte d’interprétation et de corrélation des données plus fiable, cette phase sera tout d’abord conduite sur des éprouvettes modèles (en bénéficiant des ateliers de restauration du CICRP), puis des expérimentations sur des objets patrimoniaux qui ont déjà fait l’objet d’investigations scientifiques, concernant la nature et la distribution des matériaux.

–        Intégration géométrique des données caractérisant la nature des matériaux au sein d’une représentation 3D.

 

Un dernier verrou, le plus interdisciplinaire, concerne les modalités d’accès, d’exploration et de suivi temporel de toute la richesse d’informations intégrées et spatialisées au sein des représentations numérique 3D. Ce verrou intègre des aspects liés à la visualisation interactive ainsi qu’à l’interprétation des données par les spécialistes de la conservation et la restauration des objets patrimoniaux ;

 

–        Extraction et interprétation d’informations issues de la combinaison de données primaires ;

–        Définition d’un format informatique permettant le stockage et l’accès structuré aux informations acquises, puis d’une solution pour la visualisation 3D interactive (MAP, CNR, LE2i) ;

–        Étendre la réflexion autour de la fusion d’images à la dimension temporelle, pour des perspectives liées à l’analyse des évolutions dans le temps. Dans le cadre de ce projet, des expérimentations en laboratoire sur le vieillissement des peintures (en bénéficiant des ateliers de restauration du CICRP) seront menées (MAP, ENSG, LE2i, CICRP, LAMS, CNR, LRMH) ;

–        Développement d’outils informatiques pour l’exploration et la mise en relation des informations de natures différentes en fonction des exigences d’observation et analyse (MAP, CNR, ENSG, CICRP). Pour cette objectif on se basera sur la plateforme MONUMENTUM (dans le cadre du projet ANR en cours), qui permettra de mettre les représentations numériques spatialisées en relation directe avec une panoplie d’outils d’annotation sémantique et de segmentation supervisée ainsi qu’avec une ontologie de domaine sur l’état de conservation des matériaux.

 

La programmation des activités du projet suit l’architecture des verrous et des tâches décrites. Plus particulièrement, au courant de la première année, seront définis des protocoles d’acquisition d’imagerie métrique dans le domaine du visible. Par ailleurs, des éprouvettes et leur documentation seront réalisées en parallèle. Dès la première année, l’acquisition d’une infrastructure serveur partagée pour traitement d’images et visualisation 3D permettra de réunir et interfacer les briques logicielles des différents partenaires au sein d’une plateforme informatique commune.

Afin de stimuler la dimension interdisciplinaire et concevoir des méthodes de documentation et d’analyse qu’à termes pourraient être adoptées par les professionnels de la conservation, ce projet s’inscrira dans un contexte facilitant de façon exceptionnelle l’accès privilégié à une série d’œuvres peintes (peintures murales, plafonds peints et peintures sur bois), en cours de restauration au CICRP ou sous son accompagnement scientifique. La documentation des objets choisis débutera aussi au cours de la première année. Il est en particulier envisagé de travailler sur la chapelle peinte Notre Dame des Fontaines à La Brigue (06), le plafond peint du cloitre de Fréjus (83), et deux ou trois panneaux en bois peint choisis parmi ceux qui seront en cours de restauration au CICRP durant toute la durée du projet.

 


[1] Cf. par exemple : P. Lerones, J. Fernández, Á. Gil, J. Gómez-García-Bermejo et E. Casanova, “A practical approach to making accurate 3D layouts of interesting cultural heritage sites through digital models,” Journal of Cultural Heritage, 11/1, p1-9, 2010.

[2] Id.: L. Palaia et al., “Procedure for NDT and Traditional Methods of Ancient Building Diagnosis by Using Thermograph, Digital Images and other instruments data Analysis,” presented at the 17th World Conference on Nondestructive Testing, Shangai, China, p25-28, 2008.

[3] Id.: J. Meneely, B. J. Smith, J. Curran, et A. Ruffell, “Developing a ‘non- destructive scientific toolkit’ to monitor monuments and sites,” in ICOMOS Scientific Symposium, 2009.

[4] Id.: F. Remondino, A. Rizzi, L. Barazzett, M. Scaioni, F. Fassi, R. Brumana, A. Pelagotti. Review of geometric and radiometric analyses of paintings. The photogrammetric Record, 26/13, p439-461, 2011.

[5] Id.: M. Elias Review of several optical non-destructive analyses of an easel painting. Complementary and crosschecking of the results. Journal of Cultural Heritage 12/4, p335-345, 2011.

[6] Id.: Y. Chen, R. S.Berns, L. A.Taplin, Model Evaluation for Computer Graphics Renderings of Artist Paint Surfaces, in: Proceedings of Fifthteenth Color Imaging Conference: Color Science and Engineering, Systems, technologies and Applications, IS&T/SID, Color Imaging Conference, Springfield, p54-59, 2007.

[7] Id. : A. Gardner, C. Tchou, T. Hawkins, Linear light source reflectometry, ACM Transaction on Graphics, 22/3, p749-758, 2003.

[8] Id.: Malzbender, D. Gelb, H. Wolters, Polynomial texture maps, in: Proceedings of Siggraph 01, Computer Graphics, ACM: New York, 2001, p519-528.

[9] Id.: P. Salonia et A. Negri, “Historical buildings and their decay: data recording, analysing and transferring in an ITC environment,” The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 34, 2003.

[10] Id.: C. Stefani, S. Badosa, K. Beck, L. De Luca, X. Bruneteau, M. Al-Muktar. Developing a toolkit for mapping and displaying stone alteration on a web-based documentation platform. International Journal of Cultural Heritage, 15/1, p1-9, 2014.

[11] Id.: J.-M.Vallet, V. Detalle, L. De Luca, J.-L. Bodnar, O. Guillon, B. Trichereau, K. Mouhoubi, N. Martin- Beaumont, D. Syvilay, D. Giovannacci, C. Stefani, G. Walker, M. Feillou, D. Martos- Levif, P. Marron and F. de Banes Gardonne. Development of a NDT toolbox dedicated to the conservation of wall paintings: application to the frescoes chapel in the Charterhouse of Villeneuve-lez-Avignon (France). 2013 Digital Heritage International Congress (DigitalHeritage), Vol. 2, IEEE (ISBN: 978-1-4799-3169-9).

[12] Thèse de doctorat d’Adeline Manuel au sein du MAP (Sémantisation 2D/3D d’objets patrimoniaux basée sur l’annotation d’un ensemble d’images spatialement référencées), soutenue en mars 2016.

[13] LIBS (Spectroscopie sur plasma induit par laser), en outre, des récents développements du LRMH permettent de déterminer la technique picturale employée (pigment et son mode d’application).

Projet FIAT LUX

Fusion d’ImAgerie et suivi Temporel pour L’étude de peintUres à géométrie compleXe

Ce projet vise à articuler des compétences en analyse et traitement d’images, physique des rayonnements, physico-chimie des matériaux et spatialisation 3D d’informations, autour de la documentation numérique pour la conservation des peintures du patrimoine. Trois axes seront privilégiés : la mise en cohérence géométrique de plusieurs capteurs (intégrant différents rayonnements dont le visible), la caractérisation spatialement localisée des matériaux constitutifs des couches picturales et l’accès, l’exploration et le suivi temporel des informations au sein de représentations interactives multi-dimensionnelles. L’approche de fusion de données hétérogènes vise à une distribution spatiale multi-échelles (du centimètre au micromètre) de multiples descripteurs (extraits des images acquises) combinant différentes techniques d’analyse et de traitement d’images.

Ce projet est financé par la Mission pour l'Interdisciplinarité du CNRS dans le cadre du Défi Imag'In.

Partenaires

© 2023 FIAT LUX | Theme by: Theme Horse | Proudly Powered by: WordPress