Précédent : Simulation et visualisation Remonter : Résultats nouveaux Suivant : Modélisation à partir de plans
Précédent : Simulation et visualisation
Remonter : Résultats nouveaux Suivant :
Modélisation à partir de plans
Participants : Marie-Odile Berger, Philippe Dosch, Claude
Inglebert, Erwan Kerrien, Vincent Lepetit, Gérald Masini, Sylvain
Petitjean, Gilles Simon, Karl Tombre, Götz Winterfeldt, Brigitte
Wrobel-Dautcourt.
Mots clés : vision par ordinateur, modélisation géométrique, reconstruction 3D, réalité virtuelle, réalité augmentée. .
Nous avons poursuivi en 1998 nos travaux sur la conception d'un système de réalité augmentée autonome. Notre objectif est de pouvoir calculer à chaque instant le point de vue de la caméra afin d'assurer un positionnement géométrique correct des objets de synthèse ajoutés à la scène. Nous souhaitons également pouvoir gérer aussi automatiquement que possible les interactions entre les objets de synthèse et les objets de la scène afin de détecter les éventuelles occultations des objets de synthèse par certains objets de la scène réelle.
Notre domaine d'application privilégié concerne le génie architectural et urbain. Dans ce cadre, des informations 3D sur la scène sont souvent disponibles, sans pour autant être denses. Les dimensions principales de certains bâtiments sont par exemple disponibles dans de nombreuses applications. Nous cherchons donc à développer une approche qui tire partie de ces connaissances et les complète par des informations directement extraites des images 2D.
Depuis 1997, nous travaillons à la conception d' un système de recalage temporel 3D/2D, capable de suivre dans une séquence d'images un ensemble de primitives 3D, que nous appellerons modèle, et ceci de manière parfaitement autonome [[30]]. Nos travaux permettent de calculer le point de vue de façon robuste, à partir de correspondances 3D/2D de primitives quelconques (points, droites et courbes 3D non nécessairement définies paramétriquement), et de mettre à jour automatiquement les nouvelles primitives apparaissant dans la séquence.
Après une phase d'initialisation, qui comporte la détermination des paramètres internes de la caméra (par un calibrage classique), et le calcul du point de vue dans la première image (à partir de la correspondance 3D/2D de quatre points désignés par l'utilisateur), le système détecte automatiquement les primitives 2D qui seront suivies dans les images suivantes, puis parcourt une boucle autonome comprenant le suivi des primitives, le calcul du point de vue et la mise à jour des primitives visibles.
L'essentiel de nos travaux a concerné cette année l'algorithme de calcul du point de vue. Nous utilisons pour cela un algorithme de type Iterative Closest Point. Notre méthode se distingue des travaux précédents par l'utilisation d'estimateurs robustes (M-Estimateurs) dans un processus à deux niveaux : un niveau local, qui calcule un résidu robuste pour chaque primitive, et un niveau global qui minimise une fonction robuste de ces résidus. L'intérêt de cet algorithme est double : d'une part il permet de calculer le point de vue de façon robuste en n'utilisant que les parties des primitives 2D qui correspondent au modèle 3D, et d'autre part il permet de détecter les primitives erronées.
Enfin, les correspondants 2D des nouvelles primitives 3D apparaissant dans la séquence sont automatiquement déterminés en calculant le point de vue à partir des primitives suivies et des contours 2D qui sont suffisamment proches de la projection du contour 3D. Les contours qui ne sont pas éliminés sont alors fusionnés pour former la primitive 2D recherchée.
Cependant, l'inconvénient des algorithmes s'appuyant sur la minimisation des erreurs de reprojection du modèle est leur manque de pertinence dans les zones de la scène éloignées des primitives 3D constituant le modèle. En effet l'erreur de reprojection peut être très élevée et l'incrustation d'objets virtuels dans de telles zones fournit des résultats de très mauvaise qualité. Afin d'améliorer le calcul du point de vue, nous avons donc pris en compte des informations de nature 2D/2D entre les images: il est en effet possible d'extraire dans les images des points caractéristiques du point de vue de la distribution des niveaux de gris (maximum de la fonction d'auto-corrélation par exemple). Ces points peuvent être ensuite mis en correspondance de manière très fiable entre deux images. Ces correspondances peuvent ensuite être utilisées pour contraindre le calcul du point de vue par le biais de la géométrie épipolaire qui décrit le lien entre deux point homologues dans deux images et le déplacement de la caméra entre ces deux images. Nous avons ainsi défini [[32]] un critère de calcul du point de vue prenant à la fois en compte les informations 2D/3D issues du modèle et les informations 2D/2D sur les correspondances de points entre images. L'intérêt de cette approche mixte est d'apporter de l'information spatiale par le biais des points d'intérêt là où le modèle 3D n'apporte aucune information. Nous obtenons ainsi des résultats très réalistes pour le calcul du point de vue qui permettent de réaliser des compositions très réalistes.
Nos résultats actuels sur l'application des ponts de Paris sont disponibles sous la forme de séquences MPEG accessible sur Internet.
Cependant l'information de contour n'est pas dense dans l'image et elle dépend de plus de l'échelle à laquelle on analyse l'image. Nous avons donc, là encore, utilisé la détection et la mise en correspondance de points caractéristiques dans les images. Nous obtenons alors, grâce à la triangulation de Delaunay, un maillage assez fin de la scène tridimensionnelle. Ceci permet d'accroître notablement la précision du masque d'occultation.