Participants : Imed Zoghlami, Olivier Faugeras, Rachid Deriche
Le problème étudié est le suivi et la modification d'objets dans des séquences d'images couleurs, en ayant un modèle de l'objet suivi et de celui à insérer. Il nous est posé par le groupe Lagardère. À partir de ce suivi, nous pourrons modifier cet objet tout en tenant compte des changements qu'il aurait subi, notamment les déformations géométriques, les distorsions photométriques et les occlusions.
Deux hypothèses sont faites, l'objet suivi est plan et l'objet occultant est opaque.
L'objet étant plan il suffit de suivre quatre points de l'objet, pour un quadrilatère nous prendrons les quatre sommets. Ayant le suivi des quatre points nous calculons l'homographie de passage de l'objet au modèle. Ainsi, via l'homographie, chaque point de l'objet suivi a son correspondant sur le modèle. Pour détecter les occlusions nous corrélons l'objet suivi avec le modèle dans les trois composantes couleur, les points de faibles scores de corrélation sont classés comme points de l'objet occultant. Ce procédé est raffiné de deux manières. D'abord en gérant les frontières au niveau de la corrélation et ensuite en gérant l'évolution temporelle des différentes zones.
Dans la figure 7, nous montrons un exemple de résultat obtenu avec cette méthode: le panneau TF1 partiellement occulté par le joueur a été remplacé par un panneau RTL.
Figure 7: Image originale (à gauche), et image
modifiée (à droite).