Projet : TEMICS - temics

<body bgcolor="#FFFFFF" text="#000000" link="#9944EE" vlink= "#0000FF" alink="#00FF00">  <a name="CHILD_LINKS" id= "CHILD_LINKS"><strong>Sous-sections</strong></a> <ul> <li><a name="tex2html353" href= "resul_analyse_mn.html#SECTION00061100000000000000" target= "main" id="tex2html353"><small>Segmentation et suivi temporel d'objets vidéo</small></a></li> <li><a name="tex2html354" href= "resul_analyse_mn.html#SECTION00061200000000000000" target= "main" id="tex2html354"><small>Modélisation 3<small>D</small> par analyse de séquences vidéo monoculaires</small></a></li> <li><a name="tex2html355" href= "resul_analyse_mn.html#SECTION00061300000000000000" target= "main" id="tex2html355"><small>Représentation par maillages hiérarchiques adaptatifs</small></a></li> <li><a name="tex2html356" href= "resul_analyse_mn.html#SECTION00061400000000000000" target= "main" id="tex2html356"><small>Création d'objets mosaïques 2<small>D</small></small></a></li> <li> <a name="tex2html357" href= "resul_analyse_mn.html#SECTION00061500000000000000" target="main" id="tex2html357"><small>Édition vidéo basée objet</small></a> <ul> <li><a name="tex2html358" href= "resul_analyse_mn.html#SECTION00061510000000000000" target="main" id= "tex2html358"><small>Édition.</small></a></li> <li><a name="tex2html359" href= "resul_analyse_mn.html#SECTION00061520000000000000" target="main" id="tex2html359"><small>Prise en compte des liens sémantiques entre objets vidéo.</small></a></li> </ul> </li> </ul> <hr /> <h2><a name="SECTION00061000000000000000" id= "SECTION00061000000000000000">Analyse, modélisation et édition de séquences d'images</a></h2>  <a name="TEMICS_resultats_analyse" id= "TEMICS_resultats_analyse"></a> <p><strong>Mots clés :</strong> <i>mouvement, champs denses, disparité, segmentation, suivi temporel, triangulation, maillages 2D et 3D, maillages actifs, maillages hiérarchiques, contour actif, cartes de profondeur, géométrie projective, modèles par facettes, réalité augmentée, ombrage, modèles d'illumination, image mosaïque .</i></p> <h3>Résumé :</h3> <div class="ABSTRACT"> <i>Les travaux de l'année ont porté sur le développement d'une technique de suivi temporel d'objets segmentés. L'algorithme repose sur une projection arrière et basé mouvement d'une segmentation spatiale initiale. Il permet une bonne localisation des frontières des objets et le suivi d'objets déformables. Une représentation par maillages triangulaires hiérarchiques et adaptatifs associée à une représentation progressive du mouvement a conduit au développement d'un codeur vidéo scalable permettant d'adapter le signal vidéo compressé aux capacités du réseau ou des terminaux. Pour répondre à des besoins de navigation dans une scène, au travers d'un réseau de télécommunications, nous avons en outre développé un schéma global de reconstruction et de représentation d'une séquence vidéo par un ensemble de modèles 3<small>D</small>. La représentation par modèles 3<small>D</small> permet la reconstruction de vues intermédiaires. Dans cette étude nous considérons des grandes scènes complexes et de longues séquences d'images, dont l'acquisition est faite par une caméra unique et mobile. Une autre spécificité de l'étude repose sur le fait que nous ne disposons pas d'information</i> a priori sur le contenu de la scène, ni sur les paramètres de calibration de la caméra. </div> <h3><a name="SECTION00061100000000000000" id= "SECTION00061100000000000000"></a> <a name="segmentation" id= "segmentation"></a><br /> Segmentation et suivi temporel d'objets vidéo</h3><br /> <br /> <span class="textbf">Participant :</span> Stéphane Pateux.<br /> <br /> <p>Dans le cadre du projet RNRT OSIAM, des techniques de suivi d'objets vidéo ont été développées, permettant de répondre aux besoins d'applications diverses (codage <small>MPEG</small>-4, surveillance, ...). Les objets suivis peuvent être quelconques et déformables. La technique proposée consiste dans un premier temps à effectuer une segmentation spatiale de chaque image. Une des approches possibles de segmentation spatiale consiste à exploiter l'information de couleur [<a href= "bibliographie_Toc.html#PateuxISIVC2000a" target= "contents">42</a>]. Une projection arrière de la segmentation spatiale obtenue sur un masque de référence permet de trouver à quel objet (défini par le masque de référence) appartient cette région [<a href="bibliographie_Toc.html#PateuxVCIP00" target="contents">43</a>]. La projection tient compte du mouvement de la région. Cette technique permet une bonne localisation des frontières des objets suivis, et un traitement aisé des objets déformables qui sont généralement difficiles à suivre. Par ailleurs la complexité de l'algorithme permet d'envisager des techniques rapides de suivi. Diverses améliorations de cet algorithme de suivi ont été apportées afin de palier les problèmes de segmentation spatiale ou bien encore d'occultations entre objets. Une technique de redécoupage spatial des régions a été développée afin d'identifier et de traiter les zones à problèmes (par exemple où se produisent des occultations). L'algorithme obtenu permet de suivre automatiquement et de faÇon efficace des objets présents dans une scène et définis préalablement, par segmentation spatiale.</p> <h3><a name="SECTION00061200000000000000" id= "SECTION00061200000000000000"></a> <a name="modelisation" id= "modelisation"></a><br /> Modélisation 3<small>D</small> par analyse de séquences vidéo monoculaires</h3><br /> <br /> <span class="textbf">Participants :</span> Franck Galpin, Luce Morin, Philippe Robert.<br /> <br /> <p>Les approches de modélisation, basées sur la mise en correspondance de points de vue distants dans les séquences, reposent sur des techniques d'estimation de champs denses de mouvement respectant la contrainte épipolaire. Cette dernière est identifiée par l'extraction de points singuliers, suivie d'une mise en correspondance et d'une estimation robuste de la matrice fondamentale codant la géométrie projective. La scène observée peut alors être approximée par un ensemble de régions planes à partir d'un maillage initial arbitraire, de telle sorte que par exemple les facettes correspondent à un même modèle homographique de mouvement. La scène peut aussi être décrite par une ou plusieurs mosaïques (planaires, cylindriques, sphériques,...) auxquelles peuvent être associées des informations de profondeur.</p> <p>La reconstruction 3<small>D</small> est très sensible aux erreurs de mesure dans l'image. Nous avons donc dans un premier temps cherché à améliorer l'estimation du champ de disparité. Nous avons comparé deux méthodes, l'une basée sur l'estimation d'un flot optique contraint par la géométrie épipolaire, l'autre basée sur un modèle de mouvement affine par maillage triangulaire (voir section <a href= "resul_analyse_Toc.html#maillage">6.1.3</a>). La première méthode s'avère plus adaptée aux scènes naturelles, la seconde plus adaptée aux scènes de type polyédrique. Nous avons ensuite développé un schéma global de reconstruction-représentation d'une séquence par création d'un ensemble de modèles 3<small>D</small>. L'originalité de l'approche est de ne pas reconstruire un modèle 3<small>D</small> unique de la scène, mais une suite de modèles 3<small>D</small> indépendants liés par des points de vue communs (images clés) [<a href= "bibliographie_Toc.html#galpin2000a" target= "contents">25</a>], [<a href= "bibliographie_ct.html#galpin2000b" target= "contents">23</a>]. Ce schéma génère un flux séquentiel de modèles VRML pouvant facilement être transmis sur un réseau en vue d'une navigation à distance dans la scène. Le choix des images clés est crucial pour la qualité des modèles reconstruits. Nous avons défini un critère de sélection des images clés basé sur deux types de mesures : d'une part l'amplitude du mouvement apparent entre deux images clés, d'autre part la cohérence entre le mouvement estimé de la caméra et les images initiales. Une interface de navigation a été développée pour tester ce schéma (voir figure <a href= "resul_analyse_Toc.html#interface">5</a>). Elle permet de rejouer la séquence initiale par enchaînement des modèles ou de spécifier un trajet virtuel et de construire la séquence correspondante.</p> <div align="center"> <a name="interface" id="interface"></a><a name="1025"></a> <table> <caption align="bottom"> <strong>Figure 5:</strong> Modélisation 3<small>D</small> par analyse de séquences monoculaires: Interface de navigation. (a) vues du modèle 3<small>D</small> et de la caméra virtuelle; (b) image virtuelle générée par la caméra. </caption> <tr> <td><img width="466" height="192" border="0" src= "img36.png" alt= "\begin{figure} \begin{center} \centerline {a.\psfig{figure=figuretemics/rec3D_... ...e=figuretemics/rec3D_image.ps,width=8cm}}\vspace{0.1cm} \end{center}\end{figure}" /></td> </tr> </table> </div> <h3><a name="SECTION00061300000000000000" id= "SECTION00061300000000000000"></a> <a name="maillage" id= "maillage"></a><br /> Représentation par maillages hiérarchiques adaptatifs</h3><br /> <br /> <span class="textbf">Participants :</span> Claude Labit, Gwenaëlle Marquant, Stéphane Pateux.<br /> <br /> <p>L'objectif de cette étude est de représenter les objets d'une séquence vidéo par un ensemble de maillages hiérarchiques adaptatifs. Le maillage des objets est optimisé en terme de performance débit-distorsion. Cette année nous avons plus particulièrement travaillé sur la représentation par maillages triangulaires scalables pour des applications de codage et de communication à des débits et qualités variables [<a href="bibliographie_Toc.html#MPL_vcip00" target="contents">40</a>]. Dans le prolongement de travaux effectués en mode de codage intra image, nous avons étendu certaines notions au codage inter image. Afin d'estimer le mouvement entre deux images successives d'une séquence, nous avons mis en oeuvre une approche combinant les maillages hiérarchiques et les représentations multi-résolutions. Ceci permet, avec un maillage grossier et une image sous échantillonnée, d'estimer d'abord les mouvements dominants présents dans la scène, avant de les raffiner à l'aide de niveaux de hiérarchie plus fins. L'approche que nous avons adoptée optimise le mouvement pour chaque niveau de la hiérarchie, et permet une représentation progressive du mouvement. Ceci permet un rendu « personnalisé » en fonction des disponibilités du réseau ou des capacités des terminaux. De même que pour les images fixes, le critère pour établir l'ordre d'importance des triangles dans la représentation prend en compte à la fois la qualité de représentation en terme de PSNR, mais aussi le coût de codage engendré par une telle division. Ceci garantit d'avoir une représentation optimale pour un coût de codage minimum.</p> <p>Dans le cadre de l'estimation du mouvement, nous avons développé une méthode « hybride » couplant les avantages des méthodes d'estimation «  <i>forward</i> » et «  <i>backward</i> » largement employées. Les résultats obtenus montrent un gain de la qualité par rapport à l'approche classique «  <i>forward</i> ». Enfin, afin de gérer les problèmes d'occultations dus aux mouvements et aux profondeurs relatives des objets dans les scènes, nous avons effectué un suivi indépendant de chaque objet de la scène (le contexte <small>MPEG</small>-4 nous fournissant les masques des objets). Cette représentation par maillages a été développée en introduisant la notion de ligne de rupture externe [<a href="bibliographie_Toc.html#MPL_icip00" target= "contents">37</a>]. Ceci permet de ne pas chercher à représenter le contour polygonal de l'objet avec le maillage, et par conséquent, pour un coût de codage égal, à positionner plus de noeuds dans les zones de mouvement complexe. Ceci est illustré sur la figure <a href= "resul_analyse_Toc.html#fig:GM_ObjectMeshTracking">6</a>.</p> <div align="center"> <a name="fig:GM_ObjectMeshTracking" id= "fig:GM_ObjectMeshTracking"></a><a name="962"></a> <table> <caption align="bottom"> <strong>Figure 6:</strong> Exemple de suivi de maillage pour un objet avec prise en compte des lignes de rupture. </caption> <tr> <td><img width="308" height="117" border="0" src= "img37.png" alt= "\begin{figure} \begin{center} \centerline {a.\psfig{figure=figuretemics/forema... ...psfig{figure=figuretemics/foremanMesh76.eps,width=5cm}} \end{center}\end{figure}" /></td> </tr> </table> </div> <h3><a name="SECTION00061400000000000000" id= "SECTION00061400000000000000"></a> <a name="mosaique" id= "mosaique"></a><br /> Création d'objets mosaïques 2<small>D</small></h3><br /> <br /> <span class="textbf">Participants :</span> Henri Nicolas, Jean-Marie Pinel.<br /> <br /> <p>L'objectif de l'étude est de définir une méthode de création d'images mosaïques à partir d'une séquence vidéo sans connaissance <i>a priori</i> du mouvement ou des paramètres de la caméra. Nous avons développé une technique d'estimation de la position d'une image dans le référentiel du panoramique qui ne nécessite pas une estimation du mouvement de la caméra. Cette technique est basée sur l'utilisation de modèles de mouvement de complexité variable (modèle à trois paramètres, modèle affine à six paramètres et modèle homographique). Elle repose également sur des techniques de suivi temporel et sur la mise en correspondance multi-résolution d'images. Elle a permis d'obtenir de très bons résultats sur des séquences complexes ayant un mouvement de caméra rapide (par exemple la séquence « stefan ») et sur des séquences de test représentatives du domaine de la post-production vidéo. Afin de gérer efficacement le problème de recouvrement des images projetées dans le référentiel du panoramique, de tenir compte de leurs résolutions respectives (provenant des variations de la focale de la caméra), des conditions d'éclairement, et des effets éventuels de faux contours au niveau des raccordements entre les images, nous avons défini un critère original permettant d'optimiser efficacement les coefficients de pondération entre la nouvelle image et l'image panoramique [<a href="bibliographie_Toc.html#IEEEIP00" target= "contents">17</a>].</p> <p>La création d'images mosaïques pose le problème de l'harmonisation des conditions d'éclairement. Une telle harmonisation peut être réalisée si l'on dispose d'information sur les conditions d'éclairement des objets vidéo manipulés dans les séquences d'origine. La méthode d'analyse des conditions d'illumination en cours de développement se décompose en deux phases principales:</p> <ol> <li><i>Détection de la position 2<small>D</small> d'une source lumineuse.</i> En présence d'une (ou éventuellement de plusieurs) source de lumière localisée, les conditions d'éclairement d'un objet sont fortement liées non seulement à l'intensité de la source lumineuse, mais aussi à sa position par rapport à l'objet. La méthode d'estimation de la position de la source de lumière s'appuie sur une étude des contours respectifs de l'objet et de l'ombre correspondante à un ou plusieurs instants clés. Il est montré [<a href="bibliographie_Toc.html#CORESA2000Pinel" target="contents">44</a>] qu'il est possible de localiser la position 2<small>D</small> (c'est-à-dire la projection de la position réelle dans le plan image) de la source de lumière avec une précision dépendant de la forme de l'objet, de son ombre ainsi que de son mouvement entre les instants considérés.</li> <li><i>Détection des ombres.</i> La détection des contours de l'ombre du ou des objets considérés à un instant donné est réalisée en deux temps. Tout d'abord, la zone dans laquelle l'ombre est susceptible de se situer est estimée grâce à une approche combinant une méthode de suivi temporel de la position de l'ombre et l'utilisation d'une contrainte physique liée à la position estimée de la source lumineuse. Dans un deuxième temps, les contours réels de l'ombre sont obtenus en analysant les variations d'illumination entre les deux instants considérés dans la zone de vraisemblance précédemment estimée.</li> </ol>Ce problème de compensation et d'harmonisation d'illumination lors de création d'images mosaïques est illustré sur la figure <a href= "resul_analyse_Toc.html#illumination">7</a> <div align="center"> <a name="illumination" id="illumination"></a><a name= "988"></a> <table> <caption align="bottom"> <strong>Figure 7:</strong> Compensation d'illumination d'une mosaïque obtenue à partir d'images fixes. </caption> <tr> <td><img width="429" height="202" border="0" src= "img38.png" alt= "\begin{figure} \begin{center} \psfig {figure=figuretemics/originale1.eps,width... ... \psfig {figure=figuretemics/compensee1.eps,width=7.5cm}\end{center}\end{figure}" /></td> </tr> </table> </div> <div align="center"> <a name="manipulation" id="manipulation"></a><a name= "997"></a> <table> <caption align="bottom"> <strong>Figure 8:</strong> Exemples d'insertion et de suppression d'objets dans une séquence avec gestion de l'ombre. </caption> <tr> <td><img width="285" height="439" border="0" src= "img39.png" alt= "\begin{figure} \begin{center} \psfig {figure=figuretemics/insertion.eps,width=... ...\psfig {figure=figuretemics/suppression.eps,width=10cm} \end{center}\end{figure}" /></td> </tr> </table> </div> <p>Une version semi-automatique de la méthode de création d'images mosaïques a également été développée dans le but de garantir (sous réserve de validité des modèles de mouvement utilisés) le haut niveau de qualité requis par les applications de post-production. Cette technique a de plus été optimisée en temps de calcul et implantée au sein du logiciel de post-production du projet européen NEMESIS.</p> <h3><a name="SECTION00061500000000000000" id= "SECTION00061500000000000000"></a> <a name="edition" id= "edition"></a><br /> Édition vidéo basée objet</h3><br /> <br /> <span class="textbf">Participants :</span> Laurent Amsaleg, Franck Denoual, Mireya Garcia-Vasquez, Henri Nicolas.<br /> <br /> <p>L'objectif de cette étude est de développer des méthodes semi-automatiques d'édition de scènes à partir de plusieurs objets vidéo ou mosaïques. Dans le domaine de la post-production vidéo, cette édition est souvent réalisé manuellement.</p> <h4><a name="SECTION00061510000000000000" id= "SECTION00061510000000000000">Édition.</a></h4>Une technique de classification des différentes instances d'un objet vidéo appelées VOP ( <i>video object plane</i>) en fonction de leur angle de prise de vue a aussi été développée [<a href= "bibliographie_Toc.html#VCIP2000Denoual" target= "contents">20</a>]. Cette méthode repose sur l'utilisation d'un critère de vraisemblance permettant d'évaluer le caractère significatif des paramètres d'un modèle de mouvement affine décrivant le mouvement relatif objet/caméra. Chaque transition entre deux VOPs successifs est étiquetée comme "constante" (pas de modification de l'angle de vue) ou "variable" (modification du point de vue). À chaque transition est associé le type de mouvement correspondant. L'objet vidéo est alors caractérisé par une succession de segments temporels avec ou sans modification du point de vue. Tous les VOPs d'un segment étiqueté "constant" peuvent être considérés similaires, à une transformation plane près (si l'on ne prend pas en compte les effets d'illumination ou d'occlusion). Pour chacun de ces segments, un VOP représentatif (par exemple avec le facteur d'échelle le plus grand) peut alors étre choisi. <p>La trajectoire que doit suivre l'objet dans la scène est découpée en un ensemble de segments, séparés par des instants clés. La trajectoire entre les instants clés est supposée linéaire. Ces instants clés sont obtenus en analysant les trajectoires originales et les nouvelles trajectoires de l'objet. Si la qualité du résultat final n'est pas suffisante, l'opérateur a la possibilité de rajouter manuellement de nouveaux instants clés. De plus, une méthode basée sur une calibration initiale du fond de la scène permet de déterminer automatiquement le facteur d'échelle associé à n'importe quel point de la zone calibrée. Le positionnement d'un objet sur une ligne de niveau permet alors de lui associer automatiquement le facteur d'échelle correspondant. Cette calibration utilise la notion de lignes de niveau, où une ligne de niveau est définie comme l'ensemble des points de l'image se situant à une distance identique de la caméra. La phase de calibration est réalisée de manière interactive en début de traitement. Cette méthode a été validée sur des séquences réelles. Des modifications significatives de la trajectoire d'objets non-rigides (des personnages) ont ainsi pu être réalisées tout en gardant un bon niveau de réalisme. L'insertion et la suppression d'objets est illustrée sur la figure <a href= "resul_analyse_Toc.html#manipulation">8</a>.</p> <h4><a name="SECTION00061520000000000000" id= "SECTION00061520000000000000">Prise en compte des liens sémantiques entre objets vidéo.</a></h4>Comme présenté ci-dessus, les manipulations que l'on fait sur une séquence vidéo considèrent, pour en maintenir la cohérence, les conditions d'illumination de la séquence mixée et les caractéristiques dynamiques des objets que l'on manipule. Néanmoins, manipuler une séquence demande de considérer d'autres conditions qui participent également à la cohérence globale d'une scène. En particulier, certains objets appartenant à une séquence peuvent être associés par une relation logique, par une relation de cause à effet, qui n'est ni liée à l'illumination ni aux trajectoires. <p>De faÇon générale, ces relations logiques peuvent être vues comme des liens sémantiques reliant divers objets d'une scène. Pour aborder ce problème, il est important de classifier les différents types d'interaction sémantiques entre les objets, par exemple, les relations décalées temporellement, les interactions impliquant un contact physique dans l'image, les relations bijectives ou non, les relations entre un évènement sonore et un évènement visuel, etc.</p> </body>