Projet : TEMICS - temics

<body bgcolor="#FFFFFF" text="#000000" link="#9944EE" vlink= "#0000FF" alink="#00FF00"> <h2><a name="SECTION00034000000000000000" id= "SECTION00034000000000000000">Théorie débit-distorsion et formalisme MDL</a></h2> <a name="TEMICS_fondements_tdd" id= "TEMICS_fondements_tdd"></a> <p><strong>Mots clés :</strong> <i>Limite OPTA (Optimum Performance Theoretically Attainable), Formalisme MDL (Minimum Description Length), allocation de débit, optimisation débit-distorsion, codage avec pertes, codage par descriptions multiples, modélisation de canal .</i></p> <h3>Résumé :</h3> <div class="ABSTRACT"> <i>Les travaux de codage (avec ou sans pertes) et les travaux de codage conjoint source-canal de TEMICS reposent sur des concepts fondamentaux de la théorie de l'information, comme les notions de quantité d'information, d'entropie d'une source avec et sans mémoire, de capacité d'un canal et de limite de performance débit-distorsion. Les algorithmes de compression sont conÇus de manière à approcher au mieux la limite de performance débit-distorsion <span class= "MATH"><i>R</i>(<i>D</i>)</span> pour un signal considéré. Le coût de description d'un message peut aussi être représenté à l'aide du formalisme MDL (minimum description length) qui se rapproche des notions de complexité de Kolmogorov et de complexité stochastique.</i> </div> <p>Le théorème du codage de source définit les limites de performances du codage sans pertes et avec pertes. Dans le cas du codage sans pertes, la borne inférieure de débit est fournie par l'entropie de la source. Dans le cas du codage avec pertes, elle est donnée par une fonction débit-distorsion <span class= "MATH"><i>R</i>(<i>D</i>)</span>. Cette fonction <span class= "MATH"><i>R</i>(<i>D</i>)</span> établit la quantité d'information minimale nécessaire à la représentation du message pour une distorsion donnée de ce message, ou à l'inverse, établit la distorsion minimale pour un débit (ou une quantité d'information) donné.</p> <p>Cette fonction débit-distorsion limite, appelée OPTA (<span class="textit">Optimum Performance Theoretically Attainable</span>), est en général difficile à déterminer de manière analytique, sauf pour le cas de sources particulières (théoriques), comme par exemple pour des sources Gaussiennes. Dans le cas de sources réelles (images ou signaux vidéo), les algorithmes de compression nécessitent l'utilisation de procédures d'optimisation débit-distorsion. Pour ce faire, une minimisation Lagrangienne est généralement mise en oeuvre. Elle répond à l'équation suivante : </p> <div align="center" class="mathdisplay"> <img width="24" height="41" align="middle" border="0" src= "img16.png" alt= "$\displaystyle {\frac{\partial J}{\partial Q}}$" /> = 0  où   <i>J</i> = <i>R</i> + <img width="9" height="24" align="middle" border="0" src="img17.png" alt= "$\displaystyle \lambda$" /><i>D</i>  avec   <img width="9" height="24" align="middle" border="0" src= "img17.png" alt="$\displaystyle \lambda$" /> > 0. </div>Cette optimisation est réalisée en dérivant le Lagrangien, <span class="MATH"><i>J</i></span>, par rapport au paramètre à l'origine de la distorsion, c'est-à-dire souvent par rapport au pas de quantification <span class= "MATH"><i>Q</i></span>. <p>Dans un cadre d'optimisation des performances de la qualité de service d'un système de communication, il est en outre nécessaire de prendre en compte les caractéristiques du canal et du codage de canal, en développant des stratégies de codage conjoint source-canal. On cherche alors à minimiser une distorsion globale, définie comme la somme de la distorsion due à la compression du signal et de la distorsion induite par le bruit de transmission sur le canal, sous contrainte d'un débit global donné. La fonction de coût à minimiser devient alors </p> <div align="center" class="mathdisplay"> <i>J</i> = (<i>R</i><sub>s</sub> + <i>R</i><sub>c</sub>) + <img width="9" height="24" align="middle" border="0" src= "img17.png" alt= "$\displaystyle \lambda$" />(<i>D</i><sub>s</sub> + <i>D</i><sub>c</sub>). </div>Le débit global est alors défini comme la somme du débit de source <span class= "MATH"><i>R</i><sub>s</sub></span> et du débit de redondance <span class="MATH"><i>R</i><sub>c</sub></span> introduit par le codeur de canal (ou codes correcteurs). Les techniques d'optimisation débit-distorsion conjointes source-canal permettent d'améliorer le compromis compression - robustesse au bruit de transmission, d'avoir un partage optimal de la bande passante d'un canal de communication entre le débit utile alloué à la source et le débit de redondance alloué à la protection. La redondance nécessaire à la protection du signal peut être générée à l'aide de codes correcteurs traditionnels ou alors être introduite dans la représentation compressée du signal au travers de transformations par bases redondantes (voir section <a href= "fonde_rmr_Toc.html#rmr">3.5</a>), ou encore par des approches de représentation du signal par descriptions multiples. Le <i>codage par descriptions multiples</i> peut être vu comme une généralisation à un environnement de transmission multi-canal du codage avec critère de fidélité. <p>Le formalisme MDL (Minimum Description Length) constitue un outil méthodologique supplémentaire pour quantifier le coût de description global, ou la quantité d'information minimale, nécessaire pour représenter un message. Cet outil se rapproche de la notion de quantité d'information et de complexité stochastique définie par Kolmogorov. Il est basé sur une modélisation du signal par une suite de réalisations de variables aléatoires. En notant <span class= "MATH"><i>s</i></span> une chaîne d'observations des réalisations de ces variables, et <span class= "MATH"><img width="9" height="12" align="bottom" border="0" src="img10.png" alt="$ \theta$" /></span> le vecteur des paramètres du modèle de représentation, le principe du formalisme MDL est de minimiser le coût de description de la chaîne <span class="MATH"><i>s</i></span>: </p> <div align="center" class="mathdisplay"> <i>MDL</i>(<i>s</i>) = <img width="25" height="30" align= "middle" border="0" src="img18.png" alt= "$\displaystyle \min_{\theta}^{}$" /><img width="10" height="25" align="middle" border="0" src="img19.png" alt= "$\displaystyle \left\{\vphantom{ -\log_2P_{\theta}(s) +DL(\theta) }\right.$" /> -log<sub>2</sub><i>P</i><sub><img width="8" height="22" align="middle" border="0" src="img20.png" alt= "$\scriptstyle \theta$" /></sub>(<i>s</i>) + <i>DL</i>(<img width="8" height="24" align="middle" border= "0" src="img11.png" alt= "$\displaystyle \theta$" />)<img width="10" height="25" align="middle" border="0" src="img21.png" alt= "$\displaystyle \left.\vphantom{ -\log_2P_{\theta}(s) +DL(\theta) }\right\}$" />, </div>où <span class="MATH"><i>DL</i>(.)</span> représente le coût de description. Le terme  <span class="MATH">-log<sub>2</sub><i>P</i><sub><img width= "8" height="22" align="middle" border="0" src="img20.png" alt="$\scriptstyle \theta$" /></sub>(<i>s</i>)</span> correspond au coût de codage idéal de la chaîne <span class= "MATH"><i>s</i></span> connaissant le modèle de représentation <span class="MATH"><img width="9" height="12" align="bottom" border="0" src="img10.png" alt= "$ \theta$" /></span>;  <span class="MATH">-log<sub>2</sub><i>P</i><sub><img width= "8" height="22" align="middle" border="0" src="img20.png" alt="$\scriptstyle \theta$" /></sub>(<i>s</i>) + <i>DL</i>(<img width="9" height="12" align="bottom" border= "0" src="img10.png" alt="$ \theta$" />)</span> est le coût de description global de la chaîne <span class= "MATH"><i>s</i></span> en utilisant le modèle <span class= "MATH"><img width="9" height="12" align="bottom" border="0" src="img10.png" alt="$ \theta$" /></span>. Le formalisme MDL est souvent utilisé dans des schémas de codage d'images fixes et animées, afin d'optimiser le modèle de représentation de l'image basé sur un découpage en régions. </body>