Précédent : Modélisation, segmentation et représentation d'objets Remonter : Résultats nouveaux Suivant : Régulation source-canal
Précédent : Modélisation, segmentation et
représentation d'objets Remonter : Résultats nouveaux
Suivant : Régulation source-canal
Mots clés : objets vidéo, manipulation, composition de scènes vidéo .
Mots clés : Modèles d'illumination, ombrage, compensation d'illumination .
Le mixage d'objets vidéo provenant de séquences d'images différentes dans une même scène pose le problème des conditions d'éclairement, dans la scène mixée, de ces objets. Deux problèmes essentiels se posent alors pour obtenir une scène mixée réaliste:
Mots clés : réalité augmentée, mixage d'images réelles et synthétiques, trajectoires 2D et 3D, suivi .
La composition de scènes vidéo à partir d'objets 2D extraits de séquences d'images nécessite la connaissance la plus précise possible de leur mouvement 2D et/ou 3D de manière à pouvoir les animer le plus efficacement possible dans la scène mixée. Une nouvelle méthode d'estimation du mouvement 3D à partir de la connaissance a priori d'une distance physique de l'objet considéré a été développée. Le cas d'un humain a plus particulièrement été abordé. Dans ce cas, en effet, certaines grandeurs physiques, telles que les dimensions de la tête, peuvent être considérées comme approximativement connues a priori. Les résultats obtenus sur séquences synthétiques et réelles ont permis de valider cette approche.
Résultats de détection de tête dans une séquence réelle. En noir
: l'ellipse prédite. En blanc, le résultat final.
Trajectoires estimées et réelles pour la détection précédente.
Les lignes (resp. points) représentent les positions réelles
(resp. estimées). A gauche, X, au milieu, Y, en fonction du
numéro de la trame. A droite, la carte de profondeur Z=Z(X)
Mots clés : réalité augmentée, mixage d'images réelles et synthétiques, trajectoire 2D et 3D, suivi .
A l'issue d'une phase de segmentation spatio-temporelle d'une séquence vidéo, nous disposons d'une vue (ou VOP pour reprendre la terminologie MPEG4) de l'objet considéré pour chaque image originale. Si l'objet considéré est en mouvement par rapport à la caméra (objet et/ou caméra en mouvement), alors l'objet est susceptible d'avoir été filmé sous des angles de vue différents. L'objectif de cette étude consiste alors à classer ces différents VOP selon un critère basé sur leurs angles de prise de vue respectifs. Par exemple, si l'objet est animé d'un mouvement de rotation ou de translation dans le plan image, l'angle de vue reste le même, et les VOP correspondants appartiennent à la même classe. Par contre, si le mouvement relatif objet-caméra contient une composante de rotation en dehors du plan image, l'angle de vue est modifié, et les VOP devront être dans des classes différentes. Dans un premier temps, cette étude se limite au cas des objets rigides.
L'objectif de cette étude se situe dans un contexte de composition de scènes vidéo dans lesquelles on souhaite animer artificiellement un objet vidéo. La classification des VOP servira alors de base pour choisir les VOP qui seront utilisés pour créer la nouvelle séquence d'images.
Participant : Henri Nicolas.
Mots clés : images panoramiques, mosaique d'images, édition vidéo, manipulation d'images, post-production vidéo, algorithmes semi-automatiques .
Une image panoramique est définie comme l'ensemble du fond fixe de la scène vu tout au long de la séquence (dans le cas d'une caméra en mouvement). L'objectif de cette étude consiste à définir une méthode permettant de calculer efficacement de telles images à partir de la séquence vidéo originale sans aucune connaissance a priori sur la scène, le mouvement et la calibration de la caméra. Pour cela, il a été développé une méthode permettant d'estimer directement la position d'une image dans le référentiel du panoramique en évitant le passage classique par l'estimation du mouvement de la caméra. Cette technique, basée sur l'utilisation de modèles de mouvement de complexité variable (modèles à trois paramètres -translation, facteur d'échelle-, ou modèle affine à six paramètres), sur des techniques d'estimation utilisant le suivi temporel, la mise en correspondance et un support d'estimation des paramètres non biaisé a permis d'obtenir de très bons résultats sur des séquences complexes ayant un mouvement de caméra rapide (par exemple la séquence ``stefan'').
Un deuxième aspect important concernant les techniques de création d'images panoramiques est lié à la manière de gérer le recouvrement des images. La méthode classique pour gérer ce problème consiste souvent soit à remplacer l'ancienne information existante dans l'image panoramique par la nouvelle image, soit au contraire à ne compléter l'image panoramique que là ou elle n'est pas déjà définie. Cette méthode n'est pas optimale car elle ne tient pas compte des différentes résolutions de l'image (provenant des variations de focale de la caméra), de l'ancienneté de l'image panoramique, ainsi que des effets de faux contours aux niveaux des raccordements entre les images. Pour permettre de prendre en compte ces différentes contraintes, un critère original permettant d'optimiser efficacement le choix de coefficients de pondération entre la nouvelle image et l'image panoramique existante a été développé et intégré au schéma d'estimation.
Les images panoramiques ainsi créées ont été utilisées pour de premiers tests expérimentaux très encourageants concernant la notion de manipulation orientée objet de scènes vidéo. Cette étude est menée dans le cadre du projet européen Nemesis (cf. section 7).
Image panoramique de la séquence Stefan
Positionnement du joueur dans l'image panoramique (images 220 and
260)
De gauche à droite: Images originales 220 et 260, images
segmentées 220 et 260
De gauche à droite: Images 220 et 260 centrées autour du joueur,
et sans le joueur
(les parties grises représentent les zones où aucune information
n'est disponible)
Images 220 et 260 centrées autour du joueur avec modification
artificielle de la focale.
Exemples de manipulations vidéo basées sur l'image
panoramique