<!--Converted with LaTeX2HTML 99.1 release (March 30, 1999)
original version by:  Nikos Drakos, CBLU, University of Leeds
* revised and updated by:  Marcus Hennecke, Ross Moore, Herb Swan
* with significant contributions from:
  Jens Lippmann, Marek Rouchal, Martin Wilck and others -->
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Frameset//EN"
    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-frameset.dtd">

<html xmlns="http://www.w3.org/1999/xhtml">
<head>
  <meta name="generator" content=
  "HTML Tidy for Mac OS X (vers 31 October 2006 - Apple Inc. build 13), see www.w3.org" />

  <title>Avant-projet : IMEDIA - imedia</title>
  <meta http-equiv="Content-Type" content=
  "text/html; charset=utf-8" />
  <meta http-equiv="Content-Style-Type" content="text/css" />
  <meta name="Robots" content="noindex" />
  <meta name="Generator" content="LaTeX2HTML v99.1 release" />
  <meta http-equiv="Content-Style-Type" content="text/css" />
</head>

<frameset cols="200,*">
  <frame src="imedia_Toc.html" name="toc" scrolling="auto" id=
  "toc" />
  <frame src="resul_gen-descripteu_mn.html" name="main" scrolling=
  "no" id="main" />

  <noframes>
    <body bgcolor="#FFFFFF" text="#000000" link="#9944EE" vlink=
    "#0000FF" alink="#00FF00">
      <!--Table of Child-Links-->
      <a name="CHILD_LINKS" id=
      "CHILD_LINKS"><strong>Sous-sections</strong></a>

      <ul>
        <li><a name="tex2html256" href=
        "resul_gen-descripteu_mn.html#SECTION00061100000000000000"
        target="main" id="tex2html256"><small>Intégration de la
        couleur et de la texture dans une signature
        unique</small></a></li>

        <li><a name="tex2html257" href=
        "resul_gen-descripteu_mn.html#SECTION00061200000000000000"
        target="main" id="tex2html257"><small>Signature couleur
        adaptative</small></a></li>
      </ul><!--End of Table of Child-Links-->
      <hr />

      <h2><a name="SECTION00061000000000000000" id=
      "SECTION00061000000000000000">Descripteurs d'images &nbsp;:
      Bases génériques</a></h2>
      <!-- module id:7/gen-descripteurs-dima -->
      <a name="IMEDIA_resultats_gen-descripteurs-dimages" id=
      "IMEDIA_resultats_gen-descripteurs-dimages"></a>

      <h3><a name="SECTION00061100000000000000" id=
      "SECTION00061100000000000000">Intégration de la couleur et de
      la texture dans une signature unique</a></h3>

      <p><strong>Mots clés :</strong> <i>couleur, texture de
      couleurs, histogrammes pondérés .</i></p>

      <p><br />
      <br />
      <span class="textbf">Participants :</span> Constantin Vertan,
      Nozha Boujemaa.<br />
      <br /></p>

      <p>L'approche classique pour l'indexation d'images couleur
      consiste à calculer la distribution statistique de premier
      ordre (l'histogramme) de la couleur contenue dans l'image, en
      utilisant un espace de représentation de couleur et une
      quantification convenables. Pour une image de taille
      <span class="MATH"><i>M</i> <tt>x</tt> <i>N</i></span>
      pixels, dont le pixel <span class="MATH"><i>f</i> (<i>i</i>,
      <i>j</i>)</span> a la couleur <!-- MATH
 $\mathbf{c}$
 -->
      <span class="MATH"><b>c</b></span>, l'histogramme peut être
      exprimé à l'aide du symbole de Kroneker <span class=
      "MATH"><img width="8" height="12" align="bottom" border="0"
      src="img3.png" alt="$ \delta$" /></span> comme suit
      &nbsp;:</p>

      <div align="center" class="mathdisplay">
        <a name="vertanhist" id="vertanhist"></a> <!-- MATH
 \begin{equation}
h(\mathbf{c})=\frac{1}{MN}
\sum_{i=0}^{M-1}\sum_{j=0}^{N-1}\delta\left (
f(i,j)-\mathbf{c}\right), \quad \forall\mathbf{c}\in\EuScript{C}
\end{equation}
 -->

        <table width="100%" align="center">
          <tr valign="middle">
            <td align="center" nowrap="nowrap"><i>h</i>(<b>c</b>) =
            <img width="32" height="40" align="middle" border="0"
            src="img4.png" alt=
            "$\displaystyle {\frac{1}{MN}}$" /><img width="25"
            height="51" align="middle" border="0" src="img5.png"
            alt="$\displaystyle \sum_{i=0}^{M-1}$" /><img width=
            "25" height="51" align="middle" border="0" src=
            "img6.png" alt=
            "$\displaystyle \sum_{j=0}^{N-1}$" /><img width="8"
            height="24" align="middle" border="0" src="img7.png"
            alt="$\displaystyle \delta$" /><img width="9" height=
            "25" align="middle" border="0" src="img8.png" alt=
            "$\displaystyle \left(\vphantom{ f(i,j)-\mathbf{c}}\right.$" /><i>f</i>
            (<i>i</i>, <i>j</i>) - <b>c</b> <img width="8" height=
            "25" align="middle" border="0" src="img9.png" alt=
            "$\displaystyle \left.\vphantom{ f(i,j)-\mathbf{c}}\right)$" />
            ,&nbsp;&nbsp;&nbsp;&nbsp;<img width="10" height="24"
            align="middle" border="0" src="img10.png" alt=
            "$\displaystyle \forall$" /><b>c</b> <img width="11"
            height="22" align="middle" border="0" src="img11.png"
            alt="$\displaystyle \in$" /> <img width="3" height="5"
            align="bottom" border="0" src="img12.png" alt=
            "$\displaystyle \EuScript$" /><i>C</i></td>

            <td class="eqno" width="10" align="right">(<span class=
            "eqn-number">1</span>)</td>
          </tr>
        </table>
      </div>Cette approche a pourtant prouvé ses limites, à travers
      son caractère global et la non-conservation de l'arrangement
      spatial des couleurs dans une image, qui constitue pourtant
      une propriété visuelle importante. En général, cette lacune
      est contournée par la combinaison de l'histogramme de couleur
      avec d'autres signatures, décrivant la structure et la
      texture. La description des images selon les statistiques
      d'ordre supérieur, englobant à la fois l'information de
      couleur et l'arrangement spatial des couleurs, est plus
      puissante du point de vue de la précision avec laquelle on
      retrouve certains types d'images, mais nécessite un temps de
      calcul important. La plupart des techniques de description de
      la texture sont appliquées à la composante de luminance
      seulement, faute d'outils appropriés au caractère
      multicomposante de la couleur. Même si on a proposé des
      techniques pour la modélisation adaptative de la couleur par
      des nombres complexes [<a href=
      "bibliographie_Toc.html#Vertan00cgip2" target=
      "contents">15</a>,<a href=
      "bibliographie_ct.html#Vertan00icpr" target=
      "contents">10</a>], la caractérisation séparée de la texture
      nous semble peu efficace.

      <p>L'approche innovante formulée en [<a href=
      "bibliographie_Toc.html#Vertan00cgip1" target=
      "contents">12</a>,<a href=
      "bibliographie_ct.html#Vertan00visual" target=
      "contents">13</a>,<a href="bibliographie_ct.html#Vertan00atm"
      target="contents">16</a>] est l'intégration des descripteurs
      de couleur et de texture dans une seule structure, à la fois
      simple et flexible&nbsp;: l'histogramme pondéré.</p>

      <div align="center" class="mathdisplay">
        <a name="vertanwhist" id="vertanwhist"></a> <!-- MATH
 \begin{equation}
\tilde{h}(\mathbf{c})=\frac{1}{MN}
\sum_{i=0}^{M-1}\sum_{j=0}^{N-1}w(i,j)\delta\left (
f(i,j)-\mathbf{c}\right), \quad \forall\mathbf{c}\in\EuScript{C}
\end{equation}
 -->

        <table width="100%" align="center">
          <tr valign="middle">
            <td align="center" nowrap="nowrap"><img width="9"
            height="30" align="middle" border="0" src="img13.png"
            alt="$\displaystyle \tilde{h}$" />(<b>c</b>) =
            <img width="32" height="40" align="middle" border="0"
            src="img4.png" alt=
            "$\displaystyle {\frac{1}{MN}}$" /><img width="25"
            height="51" align="middle" border="0" src="img5.png"
            alt="$\displaystyle \sum_{i=0}^{M-1}$" /><img width=
            "25" height="51" align="middle" border="0" src=
            "img6.png" alt=
            "$\displaystyle \sum_{j=0}^{N-1}$" /><i>w</i>(<i>i</i>,
            <i>j</i>)<img width="8" height="24" align="middle"
            border="0" src="img7.png" alt=
            "$\displaystyle \delta$" /><img width="9" height="25"
            align="middle" border="0" src="img8.png" alt=
            "$\displaystyle \left(\vphantom{ f(i,j)-\mathbf{c}}\right.$" /><i>f</i>
            (<i>i</i>, <i>j</i>) - <b>c</b> <img width="8" height=
            "25" align="middle" border="0" src="img9.png" alt=
            "$\displaystyle \left.\vphantom{ f(i,j)-\mathbf{c}}\right)$" />
            ,&nbsp;&nbsp;&nbsp;&nbsp;<img width="10" height="24"
            align="middle" border="0" src="img10.png" alt=
            "$\displaystyle \forall$" /><b>c</b> <img width="11"
            height="22" align="middle" border="0" src="img11.png"
            alt="$\displaystyle \in$" /> <img width="3" height="5"
            align="bottom" border="0" src="img12.png" alt=
            "$\displaystyle \EuScript$" /><i>C</i></td>

            <td class="eqno" width="10" align="right">(<span class=
            "eqn-number">2</span>)</td>
          </tr>
        </table>
      </div>Ainsi, on peut combiner l'histogramme des couleurs (la
      description classique du contenu de couleur d'une image) avec
      un attribut local <span class="MATH"><i>w</i>(<i>i</i>,
      <i>j</i>)</span>, qui caractérise le voisinage de chaque
      pixel. Cette approche se révèle différente des approches
      classiques, étant donné que la signature résultante est plus
      compacte (permettant ainsi la réduction du temps de recherche
      dans la base d'images pour une requête donnée) et permet plus
      de flexibilité, via les multiples instanciations possibles de
      <span class="MATH"><i>w</i>(<i>i</i>, <i>j</i>)</span>.

      <p>On peut caractériser le voisinage de chaque pixel par des
      attributs primaires comme&nbsp;:</p>

      <ul>
        <li>l'importance de la transition au pixel
        courant&nbsp;;</li>

        <li>le nombre de pixels <span class=
        "MATH"><i>N</i><sub>ij</sub></span> du voisinage de taille
        <span class="MATH"><i>D</i></span> ayant la même couleur
        <span class="MATH"><i>c</i></span> que le pixel courant
        <span class="MATH">(<i>i</i>, <i>j</i>)</span>,

          <div align="center" class="mathdisplay">
            <a name="vertannijc" id="vertannijc"></a> <!-- MATH
 \begin{equation}
N_{ij}(\mathbf{c})=
\sum_{m=-D/2}^{D/2}\sum_{n=-D/2}^{D/2}\delta(f(i+m,j+n)-f(i,j))\;\; avec \;\; c=f(i,j)~;
\end{equation}
 -->

            <table width="100%" align="center">
              <tr valign="middle">
                <td align="center" nowrap="nowrap">
                <i>N</i><sub>ij</sub>(<b>c</b>) = <img width="46"
                height="55" align="middle" border="0" src=
                "img14.png" alt=
                "$\displaystyle \sum_{m=-D/2}^{D/2}$" /><img width=
                "42" height="55" align="middle" border="0" src=
                "img15.png" alt=
                "$\displaystyle \sum_{n=-D/2}^{D/2}$" /><img width=
                "8" height="24" align="middle" border="0" src=
                "img7.png" alt="$\displaystyle \delta$" />(<i>f</i>
                (<i>i</i> + <i>m</i>, <i>j</i> + <i>n</i>) -
                <i>f</i> (<i>i</i>, <i>j</i>)) &nbsp;
                &nbsp;<i>avec</i> &nbsp; &nbsp;<i>c</i> = <i>f</i>
                (<i>i</i>, <i>j</i>)&nbsp;;</td>

                <td class="eqno" width="10" align="right">
                (<span class="eqn-number">3</span>)</td>
              </tr>
            </table>
          </div>
        </li>

        <li>le nombre maximal de pixels du voisinage de taille
        <span class="MATH"><i>D</i></span> ayant une même couleur
        <span class=
        "MATH"><i>N</i><sub>max</sub></span>&nbsp;;</li>

        <li>la somme des distances de couleur entre le pixel
        courant et les autres pixels de son voisinage de taille
        <span class="MATH"><i>D</i></span>,

          <div align="center" class="mathdisplay">
            <a name="vertansij" id="vertansij"></a> <!-- MATH
 \begin{equation}
s_{ij}=
\sum_{m=-D/2}^{D/2}\sum_{n=-D/2}^{D/2}d(f(i+m,j+n),f(i,j)).
\end{equation}
 -->

            <table width="100%" align="center">
              <tr valign="middle">
                <td align="center" nowrap="nowrap">
                <i>s</i><sub>ij</sub> = <img width="46" height="55"
                align="middle" border="0" src="img14.png" alt=
                "$\displaystyle \sum_{m=-D/2}^{D/2}$" /><img width=
                "42" height="55" align="middle" border="0" src=
                "img15.png" alt=
                "$\displaystyle \sum_{n=-D/2}^{D/2}$" /><i>d</i>
                (<i>f</i> (<i>i</i> + <i>m</i>, <i>j</i> +
                <i>n</i>), <i>f</i> (<i>i</i>, <i>j</i>)).</td>

                <td class="eqno" width="10" align="right">
                (<span class="eqn-number">4</span>)</td>
              </tr>
            </table>
          </div>
        </li>
      </ul>

      <p>Ces informations de base peuvent se décliner selon
      plusieurs pondérations, comme l'usage du Laplacien (voir
      équation <a href=
      "resul_gen-descripteu_Toc.html#vertanwijlapl">5</a>)
      [<a href="bibliographie_Toc.html#Vertan00cgip1" target=
      "contents">12</a>] (dont le réglage de <!-- MATH
 $k \in \{0,1 \}$
 -->
      <span class="MATH"><i>k</i> <img width="12" height="22"
      align="middle" border="0" src="img16.png" alt="$ \in$" /> {0,
      1}</span> et de <!-- MATH
 $\alpha \in R$
 -->
      <span class="MATH"><img width="10" height="11" align="bottom"
      border="0" src="img17.png" alt="$ \alpha$" /> <img width="12"
      height="22" align="middle" border="0" src="img16.png" alt=
      "$ \in$" /> <i>R</i></span> permet de renforcer la prise en
      compte des pixels situés sur les contours ou à l'intérieur
      des régions uniformes), de la probabilité, de l'entropie
      normalisée. Le détail de ces pondérations avec d'autres
      descripteurs du voisinage se trouve dans [<a href=
      "bibliographie_Toc.html#Vertan00cgip1" target=
      "contents">12</a>,<a href=
      "bibliographie_ct.html#Vertan00visual" target=
      "contents">13</a>,<a href="bibliographie_ct.html#Vertan00atm"
      target="contents">16</a>,<a href=
      "bibliographie_ct.html#Vertan00cir" target=
      "contents">14</a>,<a href=
      "bibliographie_ct.html#Vertan00nafips" target=
      "contents">11</a>]</p>

      <div align="center" class="mathdisplay">
        <a name="vertanwijlapl" id="vertanwijlapl"></a> <!-- MATH
 \begin{equation}
w(i,j)=(k+|\Delta (i,j)|)^{\alpha}
\end{equation}
 -->

        <table width="100%" align="center">
          <tr valign="middle">
            <td align="center" nowrap="nowrap"><i>w</i>(<i>i</i>,
            <i>j</i>) = (<i>k</i> + |<img width="14" height="23"
            align="middle" border="0" src="img18.png" alt=
            "$\displaystyle \Delta$" />(<i>i</i>,
            <i>j</i>)|)<sup><img width="8" height="22" align=
            "middle" border="0" src="img19.png" alt=
            "$\scriptstyle \alpha$" /></sup></td>

            <td class="eqno" width="10" align="right">(<span class=
            "eqn-number">5</span>)</td>
          </tr>
        </table>
      </div>

      <div align="center">
        <a name="vertancourbeB_test" id=
        "vertancourbeB_test"></a><a name="513"></a>

        <table>
          <caption align="bottom">
            <strong>Figure 3:</strong> Courbes précision-rappel
            pour des requêtes dans la base généraliste de test
            selon l'histogramme pondéré par le laplacien,
            l'histogramme pondéré par la probabilité locale de la
            couleur, l'histogramme usuel. La pondération des
            histogrammes accroît la performance de manière
            significative; la performance de la recherche selon
            l'histogramme pondéré est semblable ou meilleure à la
            performance de la combinaison des histogrammes de
            couleur et d'orientation, mais pour un coût de
            recherche inférieur.
          </caption>

          <tr>
            <td>
              <div align="center"></div><!-- MATH
 $\includegraphics [width=\textwidth]{vertanB.ps}$
 -->
              <img width="432" height="330" align="bottom" border=
              "0" src="img20.png" alt=
              "\includegraphics [width=\textwidth]{vertanB.ps}" />
            </td>
          </tr>
        </table>
      </div>

      <div align="center">
        <a name="vertanina2_test" id="vertanina2_test"></a><a name=
        "514"></a>

        <table>
          <caption align="bottom">
            <strong>Figure 4:</strong> Résultats de l'indexation;
            pour une même image requête (en haut, à gauche,
            contourée en bleu) en utilisant l'espace de couleur
            <span class="MATH"><i>RVB</i></span> et la métrique
            <span class="MATH"><i>L</i><sub>1</sub></span>. Bloc
            d'images de haut&nbsp;: indexation par l'histogramme
            usuel. Bloc d'images en bas&nbsp;: indexation par
            l'histogramme pondéré par l'entropie. Les cadres-clés
            ont été gracieusement fournis par l'INA - Institut
            National de l'Audiovisuel.
          </caption>

          <tr>
            <td>
              <div align="center"></div><!-- MATH
 $\includegraphics [width=\textwidth]{vertan-1_rau_entro.eps}$
 -->
              <img width="536" height="214" align="bottom" border=
              "0" src="img21.png" alt=
              "\includegraphics [width=\textwidth]{vertan-1_rau_entro.eps}" /><br />

              <br />
              <!-- MATH
 $\includegraphics [width=\textwidth]{vertan-1_bun_entro.eps}$
 -->
              <img width="535" height="211" align="bottom" border=
              "0" src="img22.png" alt=
              "\includegraphics [width=\textwidth]{vertan-1_bun_entro.eps}" />
            </td>
          </tr>
        </table>
      </div>

      <div align="center">
        <a name="vertanina3_test" id="vertanina3_test"></a><a name=
        "515"></a>

        <table>
          <caption align="bottom">
            <strong>Figure 5:</strong> Résultats de l'indexation;
            pour une même image requête (en haut, à gauche,
            contourée en bleu) en utilisant l'espace de couleur
            <span class="MATH"><i>RVB</i></span> et la métrique
            <span class="MATH"><i>L</i><sub>1</sub></span>. Bloc
            d'images de haut&nbsp;: indexation par l'histogramme
            usuel. Bloc d'images en bas&nbsp;: indexation par
            l'histogramme pondéré par la probabilité. Les
            cadres-clés ont été gracieusement fournis par l'INA -
            Institut National de l'Audiovisuel.
          </caption>

          <tr>
            <td>
              <div align="center"></div><!-- MATH
 $\includegraphics [width=\textwidth]{vertan-2_rau_prob.eps}$
 -->
              <img width="536" height="215" align="bottom" border=
              "0" src="img23.png" alt=
              "\includegraphics [width=\textwidth]{vertan-2_rau_prob.eps}" /><br />

              <br />
              <!-- MATH
 $\includegraphics [width=\textwidth]{vertan-2_bun_prob.eps}$
 -->
              <img width="534" height="210" align="bottom" border=
              "0" src="img24.png" alt=
              "\includegraphics [width=\textwidth]{vertan-2_bun_prob.eps}" />
            </td>
          </tr>
        </table>
      </div>

      <h3><a name="SECTION00061200000000000000" id=
      "SECTION00061200000000000000">Signature couleur
      adaptative</a></h3>

      <p><strong>Mots clés :</strong> <i>couleur, représentation
      adaptative, Kolmogorov .</i></p>

      <p><br />
      <br />
      <span class="textbf">Participants :</span> Francois Tonnin,
      Francois Fleuret, Nozha Boujemaa.<br />
      <br /></p>

      <p>La plupart des signatures couleur (ou même texture)
      produisent un échantillonnage systématique et régulier de
      l'espace des descripteurs. L'avantage est que la comparaison
      des signatures est aisée dans ces conditions. L'inconvénient
      se traduit parfois par le manque de représentativité du
      contenu visuel. L'objectif de ce travail est d'explorer un
      nouveau type de signature couleur procédant par
      échantillonnage adaptatif de l'espace des descripteurs. Une
      première solution est donnée par une signature basée sur une
      approximation de la norme <span class=
      "MATH"><i>L</i><sup><img width="12" height="11" align=
      "bottom" border="0" src="img25.png" alt=
      "$\scriptstyle \infty$" /></sup></span> entre les fonctions
      de répartition des couleurs.</p>

      <p>L'argument théorique sous-jacent est le même que celui
      utilisé pour justifier le test de
      Kolmogorov-Smirnov&nbsp;&nbsp;: la loi de la norme infinie
      entre deux fonctions de répartition empiriques d'une même loi
      <span class="MATH"><i>L</i></span> ne dépend pas de
      <span class="MATH"><i>L</i></span>.</p>

      <p>Durant l'indexation, l'algorithme génère pour chaque image
      un arbre de représentation de la distribution des couleurs
      dans l'espace choisi (RGB ou HSV). Chaque noeud interne de
      cet arbre correspond à la couleur moyenne des pixels
      représentés dans le sous-arbre correspondant.</p>

      <p>L'évaluation de la distance se fait en parcourant cet
      arbre et en calculant online les fonctions de répartition, et
      l'écart maximum qui les sépare. Ce travail constitue une
      étude préliminaire. La méthode dans son état actuel n'est pas
      exploitable vu le temps de calcul important.</p>
    </body>
  </noframes>
</frameset>
</html>
