Projet : Robotvis

Précédent : Résultats nouveaux Remonter : Résultats nouveaux Suivant : Approches variationnelles et à base

Sous-sections

• Auto-étalonnages de caméras et mosaïques
• Analyse de mouvements spécifiques de caméras non-calibrées
• Étude du zoom dans le cadre de l'analyse visuelle de mouvements
• Application du zoom à l'analyse visuelle dans les transports
• Formalisation de la conception des modules perceptifs pour les systèmes de vision réactifs
• Paramétrisation et estimation du tenseur trifocal
• Utilisation de contraintes dans les méthodes de calibration

   
Géométrie d'un système de caméras et applications

Mots clés : Géométrie projective, affine, euclidienne, étalonnage de caméras, stéréoscopie multivues, polynômes, variétés algébriques, ensemble caractéristique, algèbre double et relations de Plücker .

 

Auto-étalonnages de caméras et mosaïques

Participants : Sylvain Bougnoux, Didier Bondyfalat.

La première partie de ce travail a été menée en collaboration avec Didier Bondyfalat de l'action Saga.

Parce que l'auto-étalonnage est intrinsèquement instable, nous nous sommes tournés vers l'utilisation de contraintes Euclidiennes [[23]]. En effet, de légères perturbations sur l'interprétation de certaines structures, comme par exemple des plans pas tout-à-fait orthogonaux ni tout-à-fait parallèles, induisent une instabilité sur les paramètres de l'étalonnage. Donc, en imposant ce genre de contraintes directement sur le modèle, nous pouvons lever les légères ambiguïtés sur la structure de la scène et a fortiori stabiliser l'étalonnage.

La technique employée consiste à minimiser non-linéairement, grâce à une mesure image, une représentation minimale de la structure de la scène. C'est bien sûr la représentation minimale qui reflète les contraintes. Toute la difficulté est le recouvrement de la représentation minimale. Pour ce faire, nous représentons les contraintes par des polynômes, et nous essayons de séparer les variables de la scène en deux catégories : les variables minimales (celles qui vont caractériser la scène) et les variables déduites (celle calculables sur la base des autres). Cette distinction est faite par triangulation grâce à un formalisme algébrique développé par Ritt et Wu.

  

Figure 2: La partie de gauche de la figure est une vue de dessus d'une reconstruction de la place des Arcades de Valbonne avant l'imposition de contraintes, la partie droite est la même vue après cette imposition.

$\Rightarrow$

Analyse de mouvements spécifiques de caméras non-calibrées

Participants : Diane Lingrand, Thierry Viéville.

Cette étude s'insère dans un programme de travail relatif à l'analyse des propriétés géométriques et cinématiques des scènes, des modèles de caméra et des mouvements au sein de séquences monoculaires non calibrées, dans le but d'obtenir le plus d'informations possibles sur l'auto-calibration, le mouvement et la structure de la scène (objets géométriques, relations, structure 3D).

Cette année nous avons achevé l'étude de l'an dernier en la généralisant à l'ensemble des cas pouvant nous intéresser et relatif aussi bien au modèle de projection qu'aux paramètres intrinsèques et extrinsèques, tout en prévoyant l'ajout de tout autre type de contrainte (structure de la scène, ...) y compris le long de longues séquences d'images.

Le nombre de cas particuliers pour ces modèles étant très élevé, nous avons été amenés à établir un cadre de traitement automatique de génération et d'analyse de chacun des cas. Cette étude a été validée sur une plate-forme expérimentale Argès, à l'aide de différents outils disponibles dans le projet (algorithmes de suivi de points, de minimisation, ...) ou à l'extérieur (Maple, Java et C).

Nous avons ainsi pu établir que la précision est meilleure que celle obtenue avec les équations générales lorsque celles-ci sont solubles et que, dans certains cas, nous obtenons des informations supplémentaires. Nous envisageons par la suite, d'exhiber les cas intéressants, c'est-à-dire ceux qui nous fournissent effectivement plus d'informations que le cas général, et sommes en train d'établir un algorithme de détection hiérarchique du modèle optimal à considérer.

Étude du zoom dans le cadre de l'analyse visuelle de mouvements

Participants : François Gaspard, Thierry Viéville.

Nous avons développé une méthode permettant la calibration affine du système visuel dans le cas de variations de la focale et nous avons utilisé des appariements ainsi qu'une modélisation discrète pour le mouvement rigide tandis que nous profitons du fait que l'on observe très souvent des points à l'infini et que l'estimation d'un ensemble de collinéations (dont l'horizon).

D'un point de vue fonctionnel, le contrôle de la focale permet d'améliorer la perception visuelle d'un objet ou de l'environnement sur les points suivants :

• la précision, la sensibilité et la linéarité d'un capteur sont directement liées à sa focale, de manière presque linéaire pour les deux premières ; en contrôlant cette focale, on assure donc que la mesure quantitative effectuée par la vision possède les caractéristiques demandées ; autrement dit : plutôt acquérir tout de suite une bonne image que de tenter d'utiliser de lourdes techniques de « restauration » sur de mauvaises images ;
• le contrôle de la focale d'un capteur permet de trouver une focale optimale, pour une tâche donnée pour un compromis entre la précision des mesures nécessaire et la robustesse de l'algorithme qui dans certains cas impose une basse résolution ; on peut alors envisager naturellement des stratégies globales de contrôle de la focale, en développant des scénarios d'ajustement du zoom en fonction de la tâche perceptive considérée ;
• une image « zoomée » est plus simple que la vue générale d'une scène, puisque l'on se focalise sur un détail ; on contrôle donc à loisir la complexité de la scène observée et ceci, contrairement à un sous-échantillonage, sans perte de performance du signal d'entrée ; on se concentre alors facilement sur un objet mobile, un détail de la scène à mettre en correspondance avec un élément d'un modèle prédéfini ou encore une zone qui n'avait pas encore été explorée ;
• le changement de focale permet, par l'appariement de deux vues d'une scène à des focales différentes, de faire ce qu'il est convenu d'appeler de « stéréo axiale » ; cette méthode, même si elle est de précision limitée, offre la possibilité, en coordination avec la mise au point et l'analyse du mouvement de translation éventuel du capteur visuel, de disposer d'informations 3D directes sur cette scène.

C'est l'analyse des ces objectifs fonctionnels et la recherche de méthode et d'outils pour leur mise en oeuvre qui a constitué le travail de cette année dans le domaine.

Application du zoom à l'analyse visuelle dans les transports

Participants : François Gaspard, Patrick Rives, Thierry Viéville.

En collaboration avec le projet Icare, nous avons choisi le domaine des transports (assistance à la conduite, semi-automatisation d'un véhicule sur un site adapté, ...) et de la sécurité routière (prévention des accidents lors d'arrêts intempestifs sur autoroute, accélération de l'analyse d'une situation en cas d'accident) comme champ d'application de nos recherches en analyse du mouvement. Nous avons plus particulièrement élaborer les tâches suivantes :

Accrochage virtuel :

Dans un train de véhicules, un capteur visuel situé à l'avant du véhicule « remorqué » fixe un objet plan situé à l'arrière du véhicule auquel il est accroché. Le capteur visuel donne la position et l'orientation relative des deux véhicules. L'objet plan est connu (par exemple une plaque d'immatriculation) d'abord de manière générique (par ces caractéristiques) puis, une fois accroché, de manière iconique (par son image). L'apport du projet est l'utilisation d'une caméra orientable à focale variable « zoom » pour augmenter la précision de la mesure visuelle et d'une stratégie de recherche de l'objet plan en cas de décrochage de manière à augmenter la robustesse du système de mesure.

Détection d'objets mobiles autour du véhicule :

Sur une route, les autres véhicules peuvent être, en première approximation, considérés comme étant en translation par rapport au véhicule de référence, lui-même en translation. Connaissant la vitesse de ce véhicule, il est alors possible de discriminer rapidement et de manière fiable les zones planes dont la vitesse relative de translation ne correspond pas à celle du véhicule (contrairement au « décor » qui défile à la vitesse inverse du véhicule). De plus, le calcul du « temps-de-collision » permet de déclencher des alarmes lorsque de tels amers visuels se rapprochent du véhicule.

Recalage du véhicule dans un modèle 3D :

Il est aujourd'hui facile de disposer d'un modèle 3D d'un site restreint comme un parking. On peut donc envisager le recalage du véhicule sur des amers visuels reconnus dans la scène. Ceci permet la génération de trajectoires d'accostage ou le guidage local à partir du positionnement relatif par rapport à ces amers. L'apport de ce projet est, d'une part, de travailler sans la calibration de la caméra à partir d'invariants projectifs ou affines extraits de l'amer observé et, d'autre part, d'observer un tel motif avec une focale variable de façon à maximiser la précision du positionnement relatif calculé. Le choix d'un amer visuel optimal permettant de récupérer rotation et translation 3D est à étudier. L'apport de ce projet est d'utiliser une focale variable pour réaliser un cadrage optimum entre une sûreté de fonctionnement (avoir une large champ de vue pour ne pas perdre l'amer) et une précision maximale (obtenue à l'inverse avec un champ de vue le plus focalisé possible). De plus le travail de reconnaissance et de suivi de l'amer dans la scène pourra, grâce à notre formalisme, se faire indépendamment de la calibration (en projectif), seul le calcul final nécessitant l'usage des paramètres de calibration dont la précision sur le résultat sera évaluée.

Maintenant bien définies, ces tâches perceptives sont en cours de développement.

Formalisation de la conception des modules perceptifs pour les systèmes de vision réactifs

Participants : Soraya Arias, Ève Coste-Manière, Gérard Giraudon, Thierry Viéville.

Fruit d'une collaboration inter-projets, cette étude vise à mettre en place une méthodologie de programmation des systèmes de vision permettant d'associer un contrôle aux algorithmes de traitement utilisés.

L'expérience actuelle acquise à travers différentes applications (l'interprétation en imagerie aérienne, la robotique mobile ou la reconnaissance d'objets sur séquence d'images), permet de faire une analyse générique plus pertinente quant aux contraintes qu'un système de vision doit respecter pour être valide.

Plus précisément, deux entités principales sont proposées afin de spécifier de manière hiérarchique et structurée un système de vision :

• l'action de vision élémentaire qui constitue la brique de base de notre méthodologie ; elle se caractérise par un traitement sur une structure de données et par un comportement logique associé à ce traitement : ce comportement est rythmé par les évènements qui indiquent la satisfaction de conditions de démarrage, de fin ou de dysfonctionnement du traitement algorithmique associé ;
• l'ensemble ordonné des actions élémentaires, qui se caractérise par leur enchaînement logique afin d'aboutir à la spécification complète d'un système de vision ;

  Ces problèmes inhérents à la formalisation des actions de vision sont analysés et illustrés à travers une application effective de suivi de mouvements. Cette analyse nous permet de proposer et justifier une définition formelle des actions de vision et une méthodologie pour leur programmation.

Paramétrisation et estimation du tenseur trifocal

Participants : Olivier Faugeras, Théodore Papadopoulo.

Le tenseur trifocal est un objet fondamental introduit par [Sha94,Har94] qui décrit la géométrie d'un système de 3 caméras d'un point de vue projectif : c'est en quelque sorte une généralisation de la matrice fondamentale (définie pour 2 caméras). Ce tenseur permet de prédire simplement la position de la projection d'une primitive (point ou droite) dans une image uniquement à partir de la connaissance des positions de ses projections dans les deux autres. Un tel tenseur peut être facilement décrit par l'ensemble de ses 27 coefficients. Cependant, il est prouvé que les systèmes de 3 caméras ne possèdent que 18 degrés de liberté [LV94]. Les 27 coefficients du tenseur ne sont donc pas libres et doivent donc satisfaire un ensemble de contraintes.

Nous avons poursuivi notre étude du tenseur trifocal [[28],[19]] et avons proposé la première paramétrisation de celui-ci qui soit à la fois minimale et bijective [[35]]. Une librairie d'estimation de ce tenseur est en cours de réalisation. Elle permettra notamment l'usage d'appariements plus complexes que ceux habituellement employés (que des points ou que des droites) et inclura les principales méthodes d'estimations générales développées à ce jour. Cela permettra une comparaison précise des avantages et inconvénients de celles-ci en terme de vitesse de convergence, de stabilité et de précision.

D'un point de vue théorique, nous nous sommes intéressés à la caractérisation des tenseurs trifocaux qui correspondent à la situation où les paramètres intrinsèques sont constants, cas particulièrement intéressant dans le cadre de l'auto-calibration. Cependant, si quelques résultats initiaux ont été obtenus, l'obtention du résultat escompté requiert encore une quantité de travail non négligeable.

Utilisation de contraintes dans les méthodes de calibration

Participants : Didier Bondyfalat, Jacques Bride, Bernard Mourrain, Théodore Papadopoulo.

Calibrer une caméra est souvent une étape essentielle en vision par ordinateur. Si les premières méthodes nécessitaient l'usage d'une mire connue, un effort considérable a permis l'avènement de méthodes plus souples ne nécessitant que l'usage d'appariements de points entre les différentes images.

Cependant, dans la plupart des cas, si les contraintes associées à la première méthode sont trop fortes, la deuxième ne permet pas la prise en compte de connaissances a priori sur les images observées. Or dans bien des situations (par exemples lorsqu'on a affaire à des scènes urbaines), de nombreuses contraintes géométriques peuvent être utilisées pour rendre plus fiable le processus de calibration et étendre son domaine d'utilisation. Cette remarque est à la base de la tâche 3 du projet CUMULI. Dans le cadre de ce projet, deux pistes sont poursuivies :

• la première est effectuée en collaboration avec le projet SAGA et part de l'idée que les contraintes géométriques peuvent être utilisées formellement à l'aide d'outils similaires à ceux employés pour la preuve de théorèmes pour obtenir des descriptions formelles minimales de la scène, qui peuvent ensuite être employées pour obtenir numériquement des calibrations cohérentes avec les contraintes géométriques exprimées,
• la seconde piste part de la constatation que les méthodes formelles seront toujours limitées dans leur usage du fait de l'explosion en taille des objets formels qui sont nécessaires au raisonnement géométrique lorsque l'on multiplie les contraintes ; nous avons donc cherché à développer une méthode numérique qui, si elle n'offre pas les mêmes garanties que la méthode formelle (en particulier, il lui est impossible de mettre en évidence des contraintes contradictoires), évite l'écueil de complexité associé à cette dernière ; une implémentation initiale d'une telle méthode donne des résultats qui semblent prometteurs.

Précédent : Résultats nouveaux Remonter : Résultats nouveaux Suivant : Approches variationnelles et à base