Des chercheurs créent un modèle 3D d’une sculpture en pierre ancienne à partir d’une seule photo vieille de 134 ans
Les scientifiques ont créé un modèle 3D d’une sculpture en relief enterrée en utilisant une photo prise dans les années 1800 et une nouvelle technologie d’IA.
Les chercheurs de l’Université Ritsumeikan au Japon ont développé un réseau neuronal capable de regarder une photographie 2D standard d’un objet 3D et de produire une reconstruction numérique en 3D.
Dans ce cas, l’équipe a examiné une photo montrant des figures sculptées dans la pierre, connues sous le nom de relief, enterrées dans le temple de Borobudur en Indonésie, un site classé au patrimoine mondial de l’UNESCO et le plus grand temple bouddhiste au monde.
Selon Gizmodola photo en noir et blanc a été prise il y a 134 ans d’un relief qui n’a été exposé que temporairement en raison de travaux de reconstruction. Des photographies ont été prises du relief avant qu’il ne soit à nouveau enterré et ce depuis le siècle dernier.
D’autres équipes de recherche ont essayé de réaliser des reconstructions 3D, mais n’y sont pas parvenues en raison de la compression des valeurs de profondeur.
« Précédemment, nous avions proposé une méthode de reconstruction 3D de reliefs anciens basée sur une estimation monoculaire de la profondeur à partir de photos. Même si nous avons atteint une précision de reconstruction de 95 %, il manquait encore des détails plus fins tels que les visages humains et les décorations. explique le professeur Satoshi Tanaka de l’Université Ritsumeikan.
« Cela était dû à la forte compression des valeurs de profondeur dans les images de relief 2D, ce qui rendait difficile l’extraction des variations de profondeur le long des bords. Notre nouvelle méthode résout ce problème en améliorant l’estimation de la profondeur, en particulier le long des bords mous, à l’aide d’une nouvelle approche de détection des bords.
Les réseaux neuronaux multimodaux de l’équipe effectuent trois tâches : la segmentation sémantique, l’estimation de la profondeur et la détection des contours flous, qui travaillent ensemble pour améliorer la précision de la reconstruction 3D.
La principale force du réseau réside dans son estimation de la profondeur, obtenue grâce à un nouveau détecteur de contours progressifs et un module de correspondance de contours. Contrairement à la classification binaire conventionnelle des contours, le détecteur de contours progressifs traite la détection des contours des données de relief comme une tâche multi-classification.
Les bords des images en relief représentent non seulement des changements de luminosité, mais également des variations de courbure, appelées « bords adoucis ». Le détecteur de bords doux détermine le degré de « douceur » de ces bords dans les images en relief, améliorant ainsi l’estimation de la profondeur.
Le module de correspondance de contours comprend deux détecteurs de contours adoucis qui extraient des cartes de contours adoucis multiclasses et une carte de profondeur, à partir d’une photo de relief d’entrée. En faisant correspondre et en détectant les différences entre les deux cartes, le réseau se concentre davantage sur les régions aux contours flous, ce qui permet une estimation plus détaillée de la profondeur.
Enfin, le réseau optimise une fonction de perte dynamique améliorée par les bords, qui inclut la perte des trois tâches, et produit des images 3D claires et détaillées des reliefs.
Vous pouvez lire le document de l’équipe ici.
Crédits images : Pan et coll. 2024
