Projet : Orion - Traitement de séquence d'images à base de connaissances contextuelles

Une des contraintes majeures de l'interprétation de séquences d'images est la qualité des résultats fournis par le traitement des images. Le traitement de séquence d'images a pour but de fournir au logiciel d'interprétation un historique de l'évolution du contenu de la séquence. De la fiabilité de cet historique dépend la qualité de l'interprétation. Le traitement de séquence d'images est divisé en trois temps que sont la détection de régions mobiles, la reconnaissance de personnes et le suivi de personnes.

En fait, lors de l'acquisition de la séquence par une caméra monoculaire fixe, une importante partie de l'information est perdue par projection sur le plan focal de la caméra. On passe d'une information 3D+t à une information 2D+t. Le but du problème est d'arriver à reconstituer l'information perdue. L'orientation prise pour y parvenir est d'introduire dans les traitements des connaissances sur le contexte et notamment des informations 3D. Ainsi les traitements ne sont plus uniquement contraints à être faits dans les référentiels liés au plan image, mais peuvent se baser sur des référentiels liés à la scène.

Pour cela, nous avons élaboré un modèle d'humain incluant des paramètres 3D et défini par une boite englobante 3D placée dans le référentiel de la scène. Nous avons aussi défini un modèle de description de scène capable d'organiser l'information nécessaire aux traitements de façon explicite. Ce modèle se base sur la mise en correspondance des différents référentiels impliqués dans chacune des étapes du processus. Parallèlement, nous avons développé et testé plusieurs algorithmes de reconnaissance de personnes et de suivi de personnes basés sur cette connaissance contextuelle. Ces algorithmes de reconnaissance de personnes ont pour but de fusionner les régions mobiles sous les contraintes du modèle de personne grâce à différentes heuristiques organisant l'ensemble des régions mobiles détectées (partition, ordre total, ordre partiel). De même, les algorithmes de suivi de personnes visent à mettre en correspondance les résultats de la reconnaissance obtenus entre deux images successives dans le référentiel de la scène en minimisant l'ensemble des distances entre les différents objets des images successives.

L'introduction de connaissances contextuelles dans deux des trois étapes des traitements de séquences d'images (reconnaissance et suivi) nous a permis de résoudre certains des problèmes récurrents du domaine tels que les problèmes d'occultations dynamiques (masquage d'une personne par une autre personne) et certains problèmes de suivi de personnes comme le montre la figure 9.

**Figure 9:** Comparaison des résultats des méthodes avec et sans connaissances contextuelles. À gauche, la méthode sans informations contextuelles donne un suivi erroné. À droite, la méthode avec informations contextuelles donne un suivi utilisable par le logiciel d'interprétation.
$\includegraphics[width=13cm]{Figures/comparaison.eps}$