Projet :
TEMICS
Précédent : Modélisation, segmentation, représentation
d'objets vidéo Remonter : Fondements scientifiques
Suivant : Optimisation globale d'un système
de
Scalabilité et communication vidéo
Mots clés : hiérarchie de mouvement,
segmentation hiérarchique, ``video layering", analyse
multigrille, quantification arborescente, optimisation
débit-distorsion .
Résumé :
La notion de scalabilité - anglicisme que l'on peut traduire
par représentation multiéchelle - pour la représentation de(s)
source(s) vidéo est incontournable pour permettre de spécifier
des modes de communication adaptatifs aux caractéristiques
fortement variables des sources manipulées, des ressources du
réseau de communication et des services (terminaux hétérogènes)
visés. Cette notion se décline selon les diverses modalités de
modélisation et de représentation des différents maillons de la
chaine de communication (source, canal, réception). Elle
s'appuie donc sur des fondements scientifiques issus de
l'analyse multigrille et de la quantification arborescente.
La notion de scalabilité peut se présenter selon plusieurs
aspects complémentaires et hybridables:
- la scalabilité des objets : les techniques de
segmentation spatiotemporelle hiérarchique évoquées au
paragraphe précédent conduisent naturellement à une
représentation multiéchelle des objets segmentés ;
Base scientifique : cartes de segmentation
topologiquement emboîtées.
- la scalabilité spatiale : la découpe ordonnée en
objets situés à des profondeurs distinctes (segmentation
``multilayers'') est également un mode aisé de structuration
des primitives visuelles extraites de la projection image d'une
scène tridimensionnelle ;
Base scientifique : géométrie projective et obtention de
cartes de profondeur relative sur séquences non calibrées.
[Bou94]
- la scalabilité temporelle [TA94] : par extension de la
notion de GOP (Group Of Pictures) classique dans le cadre MPEG
qui structure le flux vidéo en trames IBP, des modes étendus de
découpe temporelle sont à définir ;
Base scientifique: interpolation temporelle basée
trajectoires d'objets.
- la scalabilité de représentation : ceci concerne la
représentation d'une source numérique unique des données issues
des images en un ensemble ordonné de sources numériques
emboîtées permettant la restitution partielle ou progressive
des images. D'un point de vue du flux binaire, ceci se traduit
par un ensemble de flux élémentaires à concaténer ;
Base scientifique : décomposition EZT [Sha93] ou SPIHT [SP96], paquets d'ondelettes,
quantification vectorielle arborescente, représentations
multiples hybrides et hiérarchiques.
- la scalabilité au niveau réseau : les réseaux de
communication actuels ne raisonnent plus uniquement sur un
niveau unique de ressources (débit/distorsion) mais sur une
hiérarchie de niveaux de communication accessibles selon la
demande (priorité de service) ou la disponibilité du réseau
(lois de débits, engorgement, ...) [BTW94]. Ces phases de
modélisation sont à introduire pour contrôler l'interface
source-réseau ;
- la scalabilité au niveau réception [MJV96]: ce niveau inclut les
contraintes venant de la machine cible (puissance de traitement
disponible, qualité du restituteur), des conditions de service
visé (gamme de qualité, droit d'accès, temps alloué, ...) et de
l'usage final de la communication réalisée (nature des
post-traitements). Ces contraintes peuvent être extrêmement
hétérogènes (diffusion multicast). Les qualités de service
attendues doivent être modélisées et introduites, comme
contraintes externes et objectifs scalables en terme de
distorsion.
Enfin, comme ci-dessus pour une hiérarchie de débits, il est
possible aussi d'introduire une hiérarchie de distorsions
admissibles prenant en compte éventuellement l'aspect de
sélectivité des objets; en effet, contrairement aux cadres
standards de compression (JPEG, MPEG) qui s'adressent à des
services multimédia de communication non dédiés et qui
fournissent donc une qualité de reconstruction homogène sans
sélectivité (si ce n'est la sélectivité en fréquences par
quantification adaptée des différents coefficients fréquentiels
issus d'une décomposition DCT), il apparaît de plus en plus
souhaitable, pour d'autres services de communication
(télémédecine, imagerie satellitaire, vidéosurveillance,
robotique mobile) de modéliser et d'introduire les connaissances
a-priori dans l'algorithmique de représentation/compression.
Cette sélectivité est définie à partir de modèles perceptuels ou
est guidée par l'application et le contenu de scènes. La
sélectivité s'exprime alors par une hiérarchisation de
l'information tant spatiotemporelle (basée mouvement ou objets)
que fréquentielle (basée lois de sensibilité en fréquences).
Base scientifique : décomposition ondelettes, segmentation
et projection, quantification optimale (scalaire ou vectorielle),
échantillonnage irrégulier [RR95], maillages
hiérarchiques [TEST96].
Précédent : Modélisation, segmentation, représentation
d'objets vidéo Remonter : Fondements scientifiques
Suivant : Optimisation globale d'un système de