Projet : IS2 - Modèles à structure cachée

<body bgcolor="#FFFFFF" text="#000000" link="#9944EE" vlink= "#0000FF" alink="#00FF00">  <a name="CHILD_LINKS" id= "CHILD_LINKS"><strong>Sous-sections</strong></a> <ul> <li><a name="tex2html401" href= "resul_res-mod-struct_mn.html#SECTION00063100000000000000" target="main" id="tex2html401"><small>Accélération de l'algorithme <small>EM</small> pour les mélanges</small></a></li> <li><a name="tex2html402" href= "resul_res-mod-struct_mn.html#SECTION00063200000000000000" target="main" id="tex2html402"><small>Stratégies d'obtention du maximim de vraisemblance pour les mélanges</small></a></li> <li><a name="tex2html403" href= "resul_res-mod-struct_mn.html#SECTION00063300000000000000" target="main" id="tex2html403"><small>Approximation du champ moyen et segmentation d'images</small></a></li> <li><a name="tex2html404" href= "resul_res-mod-struct_mn.html#SECTION00063400000000000000" target="main" id="tex2html404"><small>Analyse statistique d'Images à Résonance Magnétique (<small>IRM</small>) pour la détection et l'identification de tumeurs</small></a></li> <li><a name="tex2html405" href= "resul_res-mod-struct_mn.html#SECTION00063500000000000000" target="main" id="tex2html405"><small>Extension des modèles de Markov cachés en reconnaissance de la parole</small></a></li> <li><a name="tex2html406" href= "resul_res-mod-struct_mn.html#SECTION00063600000000000000" target="main" id="tex2html406"><small>Modélisation de suites finies par des chaînes de Markov cachées</small></a></li> <li><a name="tex2html407" href= "resul_res-mod-struct_mn.html#SECTION00063700000000000000" target="main" id="tex2html407"><small>Indexation d'images</small></a></li> </ul> <hr /> <h2><a name="SECTION00063000000000000000" id= "SECTION00063000000000000000">Modèles à structure cachée</a></h2> <a name="IS2_resultats_res-mod-struct-cach" id= "IS2_resultats_res-mod-struct-cach"></a> <h3><a name="SECTION00063100000000000000" id= "SECTION00063100000000000000">Accélération de l'algorithme <small>EM</small> pour les mélanges</a></h3> <p><br /> <br /> <span class="textbf">Participants :</span> Gilles Celeux, Stéphane Chrétien<a name="tex2html12" href= "footnode_mn.html#foot1352" target="footer" id= "tex2html12"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>, Florence Forbes, Abdallah Mkhadri<a name="tex2html13" href= "footnode_mn.html#foot1240" target="footer" id= "tex2html13"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>.<br /> <br /></p> <p>Souvent, l'algorithme <small>EM</small> converge lentement. Une des possibles raisons d'un tel comportement est le traitement simultané des paramètres à optimiser. Nous avons proposé [<a href="bibliographie_ct.html#CFMS00" target= "contents">10</a>] une version de l'algorithme <small>EM</small> pour l'estimation de mélanges de lois qui travaille composant par composant. Nous avons prouvé la convergence de cet algorithme en nous fondant sur son interprétation comme un algorithme proximal. Nous avons montré par des simulations que notre algorithme avait dans les situations de convergence lente un comportement meilleur que l'algorithme <small>EM</small> mais aussi que d'autres algorithmes tel que SAGE [<a href= "bibliographie_ct.html#Fesslerhero" target= "contents">FH94</a>] par exemple, qui visent également à accélérer l'algorithme <small>EM</small>.</p> <h3><a name="SECTION00063200000000000000" id= "SECTION00063200000000000000">Stratégies d'obtention du maximim de vraisemblance pour les mélanges</a></h3><br /> <br /> <span class="textbf">Participants :</span> Christophe Biernacki<a name="tex2html14" href= "footnode_mn.html#foot1252" target="footer" id= "tex2html14"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>, Gilles Celeux, Gérard Govaert<a name="tex2html15" href= "footnode_mn.html#foot1256" target="footer" id= "tex2html15"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>.<br /> <br /> <p>La fonction de vraisemblance pour un mélange multidimensionnel comporte de nombreux maxima locaux. L'obtention du maximum global est d'autant plus importante que ce maximum entre dans la composition de nombreux critères de choix de modèles, mais est souvent un problème difficile. Forts des nombreux algorithmes présents dans <small>XEMGAUSS</small> (<small>EM</small>, <small>EM</small> stochastique (<small>SEM</small>) <small>EM</small> classification (<small>CEM</small>)) et de la facilité de les combiner, nous avons exploré la capacité de stratégies simples pour accéder à cet optimum global. Nous avons mené des expérimentations sur des données simulées et réelles en imposant un temps d'exécution fixé à l'avance. Bien qu'il soit difficile d'en tirer des conclusions définitives, il ressort de ces expériences, que l'utilisation d'un seul essai de l'algorithme <small>EM</small> est franchement mauvais. Il faut lui préférer l'emploi d'une combinaison répétée de <small>CEM</small> suivi de <small>EM</small>, ou mieux, une combinaison répétée de plusieurs exécutions courtes de l'algorithme <small>EM</small> suivi d'une exécution complète de ce même algorithme.</p> <h3><a name="SECTION00063300000000000000" id= "SECTION00063300000000000000"></a> <a name="meanfield" id= "meanfield"></a><br /> Approximation du champ moyen et segmentation d'images</h3><br /> <br /> <span class="textbf">Participants :</span> Gilles Celeux, Florence Forbes, Nathalie Peyrard.<br /> <br /> <p>L'approximation du champ moyen est à l'origine une méthode d'approximation de la moyenne d'un champ de Markov. Elle est issue de la mécanique statistique où elle s'avère utile pour l'étude des phénomènes de transition de phases[<a href= "bibliographie_ct.html#chandler" target= "contents">Cha87</a>]. Notre objectif est d'étudier son utilisation, dans le cadre de la segmentation markovienne d'images, comme outil algorithmique pour éviter les calculs coûteux inhérents aux modèles de champs de Markov. L'idée est d'approximer les interactions entre pixels en négligeant les fluctuations : pour chacun des pixels, les pixels voisins sont supposés fixés à leur valeur moyenne. Cette méthode peut être vue comme une manière d'approximer un modèle markovien avec des interactions complexes par un système de variables indépendantes, beaucoup plus simple.<br /></p> <p>Dans le cadre de la segmentation d'images, nous nous sommes plus particulièrement intéressés à l'utilisation d'un tel outil pour l'algorithme <small>EM</small>. Pour des modèles markoviens, deux difficultés se présentent : le calcul de la fonction de partition a priori et celui des probabilités marginales a posteriori. Des approximations ont été proposées pour traiter ces étapes: pseudo-likelihood, <small>MCMC</small>. Zhang[<a href= "bibliographie_ct.html#zhang" target="contents">Zha92</a>], donne une solution heuristique utilisant des approximations de type champ moyen et obtient de bons résultats. Nous proposons une classe d'algorithmes fondés sur la généralisation du principe du champ moyen : dans le système indépendant approximant, les pixels voisins sont fixés à une constante, pas nécessairement égale à la valeur moyenne. En particulier, nous nous sommes intéressés à des méthodes de type champ modal ou champ simulé. Cette famille d'algorithmes contient la procédure proposée par Zhang, ainsi que la procédure (<small>PPL</small>)-<small>EM</small> de Qian et Titterington[<a href="bibliographie_ct.html#qiantitRM" target="contents">QT91</a>] et de nouveaux algorithmes dont celui du champ simulé qui apparaît très efficace sur les expérimentations que nous avons menées. De la sorte nous présentons sous une structure commune des algorithmes d'inspirations bien différentes et nous cherchons à les comparer en termes d'estimation des paramètres et de restauration de l'image. Un autre domaine d'application des techniques d'approximation de type champ moyen est la sélection de modèle (cf. <a href= "resul_res-choix-mod_ct.html#smhmrf">6.4.1</a>).</p> <h3><a name="SECTION00063400000000000000" id= "SECTION00063400000000000000">Analyse statistique d'Images à Résonance Magnétique (<small>IRM</small>) pour la détection et l'identification de tumeurs</a></h3> <p><br /> <br /> <span class="textbf">Participants :</span> Florence Forbes, Chris Fraley<a name="tex2html16" href= "footnode_mn.html#foot1293" target="footer" id= "tex2html16"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>, Nathalie Peyrard, Adrian Raftery<a name="tex2html17" href= "footnode_mn.html#1293" target="footer" id= "tex2html17"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>.<br /> <br /></p> <p>Dans le cadre d'une collaboration entre Toshiba MRI inc. à San Francisco, l'université de Washington à Seattle et <small>IS2</small>, le contexte est celui de l'Imagerie par Résonance Magnétique (<small>IRM</small>) pour la détection de cancers du sein. Cette technique permet potentiellement la différentiation des tumeurs malignes et des tissus sains mais a une spécificité réduite.</p> <p>Dans une première approche, l'étude des caractéristiques dynamiques (courbes signal-temps) des tumeurs a été proposée pour améliorer la spécificité de l'<small>IRM</small> [<a href="bibliographie_ct.html#kuhl00" target= "contents">Kuh00</a>]. Une étape importante dans cette étude est la sélection d'une zone suspecte (ou <small>ROI</small> pour <i>Region-Of-Interest</i> en anglais). Il n'existe cependant pas encore de méthodes standardisées pour la sélection de telles zones et pour l'analyse des données d'<small>IRM</small> dynamique. Nous avons donc commencé une étude [<a href="bibliographie_ct.html#tosh00" target= "contents">40</a>] qui propose une méthode de sélection fondée sur des techniques statistiques de classification multivariées, ainsi que des outils d'analyse des courbes pour les pixels sélectionnés.</p> <p>Une seconde approche se base sur les travaux de R. Neugebauer, au cours de son <small>DEA</small> au printemps 2000 [<a href="bibliographie_ct.html#romain00" target="contents">50</a>]. Il s'agit d'utiliser les principes de l'analyse discriminante pour permettre l'identification des classes de pixels, <i>i.e.</i> le diagnostic différentiel entre tissus cancéreux et tissus sains. Une telle analyse nécessite l'utilisation d'au moins une image d'apprentissage, où les pixels d'une tumeur maligne sont identifiés. Deux approches peuvent être distinguées selon la nature de l'image d'apprentissage. Dans le premier cas, l'image d'apprentissage et l'image étudiée ne sont pas issues de l'examen <small>IRM</small> du même patient. L'idéal serait en effet de pouvoir utiliser la coupe d'un ou plusieurs patients de référence, pour identifier les éventuelles zones cancéreuses des coupes d'autres patients. Cependant, ceci ne semble pas toujours facilement réalisable du fait du mode de recueil actuel des données <small>IRM</small>. Une autre approche s'avère néanmoins utile dans le suivi d'un patient lors d'un traitement médical par chimiothérapie. L'image d'apprentissage et l'image étudiée sont issues du même patient et du même examen <small>IRM</small>.</p> <h3><a name="SECTION00063500000000000000" id= "SECTION00063500000000000000">Extension des modèles de Markov cachés en reconnaissance de la parole</a></h3> <p><br /> <br /> <span class="textbf">Participants :</span> Florence Forbes, Alejandro Murua<a name="tex2html18" href= "footnode_mn.html#foot1319" target="footer" id= "tex2html18"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>.<br /> <br /></p> <p>Nous avons commencé une étude sur un problème de reconnaissance de la la parole. Les questions soulevées sont du même ordre que celles abordées par J-B. Durand lors de son <small>DEA</small>[<a href= "bibliographie_ct.html#jb99" target="contents">Dur99</a>] et de sa thèse. Les chaînes de Markov cachées ont souvent été utilisées avec succès dans ce cadre mais elles présentent cependant un certain nombre de limitations. Dans [<a href= "bibliographie_ct.html#murua" target="contents">LM99</a>], J. Li et A. Murua ont voulu tenter d'y remédier en proposant un modèle plus complexe, qui met notamment en jeu des dépendances entre variables non prises en compte habituellement. Cela donne lieu à des problèmes d'estimation des paramètres du modèle, résolus de manière essentiellement heuristique. L'objectif de notre collaboration est donc de voir si des techniques de type champ moyen, visant à se ramener à des cas de dépendances plus simples, pourraient s'appliquer et donner lieu à une procédure d'estimation mieux fondée statistiquement.</p> <h3><a name="SECTION00063600000000000000" id= "SECTION00063600000000000000">Modélisation de suites finies par des chaînes de Markov cachées</a></h3> <p><br /> <br /> <span class="textbf">Participants :</span> Gilles Celeux, Jean-Baptiste Durand.<br /> <br /></p> <p>Le modèle de chaînes de Markov cachées est fréquemment utilisée en reconnaissance statistique des formes, notamment en reconnaissance de parole ou de gestes. Comme pour les mélanges de loi, l'un des problèmes qui reste à résoudre concerne le choix du nombre d'états cachés. Nous avons entrepris de l'attaquer en utilisant une évaluation de la vraisemblance du modèle par des techniques d' <em>half sampling</em> qui sont un cas particulier de la validation croisée. Dans le principe, cela consiste à diviser l'échantillon en deux, puis à estimer les paramètres sur une partie et à calculer la vraisemblance du modèle sur l'autre. En inversant le rôle des deux parties, on obtient ainsi une vraisemblance moyenne qui sert de critère de sélection. Du fait de la dépendance markovienne, le découpage en deux parties n'est pas une opération anodine. Dans le cas où les deux parties sont tirées au hasard, cela nous a amené à adapter l'algorithme de B<small>AUM-</small>W<small>ELCH</small> de calcul de l'estimateur du maximum de vraisemblance dans une chaîne de Markov cachée à observations manquantes. Dans le cas où la chaîne est divisée suivant la parité des indices, nous avons montré que les processus obtenus sont encore des chaînes de Markov cachées, ce qui permet d'utiliser l'algorithme de B<small>AUM-</small>W<small>ELCH</small> pour l'estimation des paramètres. Les premières expérimentations menées sont encourageantes et semblent indiquer une certaine supériorité de la procédure se fondant sur un partionnement alternatif de l'échantillon.</p> <h3><a name="SECTION00063700000000000000" id= "SECTION00063700000000000000">Indexation d'images</a></h3><br /> <br /> <span class="textbf">Participants :</span> Christophe Biernacki<a name="tex2html19" href= "footnode_mn.html#foot1339" target="footer" id= "tex2html19"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>, Anne Guérin-Dugué, Jeanny Hérault<a name="tex2html20" href= "footnode_mn.html#foot1343" target="footer" id= "tex2html20"><sup><img align="bottom" border="1" alt="[*]" src="../icons/foot_motif.png" /></sup></a>.<br /> <br /> <p>Cette étude a été initiée par Christophe Biernacki lors de son stage post-doctoral en 1999, en collaboration entre Movi et <small>IS</small>2. La modélisation des distributions de caractéristiques extraites dans les images est ici appliquée au contexte de l'indexation des images par le contenu. L'objectif est de retrouver dans une base d'images, les images les plus « similaires » à une image requête suivant la similarité entre les distributions d'information de chrominance seule, ou combinée avec l'information de luminance, par le biais de l'estimation d'une caractéristique locale d'orientation. Le principe retenu est d'indexer l'image par les paramètres optimaux (au sens du critère <small>ICL</small> [<a href= "bibliographie_ct.html#bcg00" target="contents">8</a>]) du mélange de gaussiennes modélisant la distribution globale des caractéristiques. L'appariement se réalise en maximisant la vraisemblance du jeu de paramètres d'une image de la base sachant la distribution empirique de l'image requête. Plusieurs espaces chromatiques ont été testés. Les meilleurs résultats ont été obtenus avec l'espace conduisant en moyenne à une modélisation la plus parcimonieuse de la distribution chromatique. Cet espace de représentation chromatique est issu des travaux de recherche effectués au Laboratoire des Images et des Signaux (<small>LIS-INPG-UJF</small>) sur la vision humaine des couleurs.</p> <p>Cette approche a été étendue avec succès dans deux directions. La première extension concerne la modélisation des distributions chromatiques spatialement localisées dans l'image. En effet, l'organisation spatiale des modes détectés est perdue avec la seule modélisation de la distribution globale. Cette organisation spatiale peut être retrouvée par la suite en effectuant une étape de classification spatiale des modes détectés. L'étape de modélisation concerne alors la distribution conjointe spatio-chromatique [<a href= "bibliographie_ct.html#bla00" target="contents">41</a>]. L'autre extension est relative à la fusion des informations de chrominance et de luminance (orientation). Cette fusion est réalisée sur la vraisemblance en considérant les deux informations indépendantes  [<a href= "bibliographie_ct.html#mig00" target="contents">49</a>].</p> <hr /> </body>