Projet : ESTIME - estime

<body bgcolor="#FFFFFF" text="#000000" link="#9944EE" vlink= "#0000FF" alink="#00FF00">  <a name="CHILD_LINKS" id= "CHILD_LINKS"><strong>Sous-sections</strong></a> <ul> <li><a name="tex2html186" href= "fonde_module-4_mn.html#SECTION00033100000000000000" target="main" id="tex2html186"><small>Algorithmes de points intérieurs non-linéaires</small></a></li> <li><a name="tex2html187" href= "fonde_module-4_mn.html#SECTION00033200000000000000" target="main" id="tex2html187"><small>Autres méthodes numériques</small></a></li> </ul> <hr /> <h2><a name="SECTION00033000000000000000" id= "SECTION00033000000000000000">Méthodes numériques en optimisation</a></h2> <a name="ESTIME_fondements_module-4" id= "ESTIME_fondements_module-4"></a> <p><strong>Mots clés :</strong> <i>optimisation sous contraintes, algorithme de points intérieurs, algorithme de quasi-Newton, différentiation automatique .</i></p> <div id="glossaire" style= "margin-left: 2em;margin-right: 2em;"> <hr /> <dl title="Glossaire"> <dt><b>Algorithmes de points intérieurs</b></dt> <dd><i>Méthodes numériques d'optimisation adaptées à la résolution des problèmes soumis à un grand nombre de contraintes d'inégalité. Dans cette approche, les itérés sont maintenus dans l'intérieur du domaine admissible. On les qualifie de non-linéaires s'ils sont conÇus pour résoudre des problèmes non linéaires.</i></dd> <dt><b>Méthodes de quasi-Newton</b></dt> <dd><i>Méthodes numériques d'optimisation permettant de construire une approximation d'un hessien à partir des dérivées premières. Celles-ci permettent d'éviter le calcul coûteux des dérivées secondes et d'accélérer la convergence des algorithmes du premier ordre.</i></dd> <dt><b>Différentiation automatique</b></dt> <dd><i>Méthodes numériques et informatiques permettant de générer un programme calculant en un point les dérivées d'une fonction qui n'est connue que par la donnée d'un autre programme informatique.</i></dd> </dl> <hr /> </div> <p>Les problèmes inverses ou d'estimation de paramètres considérés dans le projet Estime se formulent en général comme des problèmes d'optimisation d'une fonctionnelle de moindres carrés. C'est pourquoi il existe dans le projet une activité de recherche dans le domaine de l'optimisation.</p> <p>En termes généraux, on s'intéresse aux méthodes numériques pour résoudre les problèmes qui reviennent à minimiser un critère scalaire  <span class="MATH"><i>x</i> <img width="11" height="22" align="middle" border="0" src="img3.png" alt="$ \in$" /> <b>R</b><sup>n</sup> <img width="16" height="10" align= "bottom" border="0" src="img4.png" alt="$ \mapsto$" /> <i>f</i>(<i>x</i>) <img width="11" height="22" align="middle" border="0" src="img3.png" alt="$ \in$" /> <b>R</b></span>, les variables à optimiser <span class= "MATH"><i>x</i></span> devant éventuellement vérifier des contraintes d'égalité <span class= "MATH"><i>c</i><sub>E</sub>(<i>x</i>) = 0</span> et d'inégalité   <span class="MATH"><i>c</i><sub>I</sub>(<i>x</i>) <img width= "12" height="22" align="middle" border="0" src="img5.png" alt="$ \leq$" /> 0</span>, où  <span class="MATH"><i>c</i><sub>E</sub> : <b>R</b><sup>n</sup><img width="16" height="9" align="bottom" border="0" src="img6.png" alt= "$ \to$" /><b>R</b><sup>m<sub>E</sub></sup></span> et  <span class="MATH"><i>c</i><sub>I</sub> : <b>R</b><sup>n</sup><img width="16" height="9" align="bottom" border="0" src="img6.png" alt= "$ \to$" /><b>R</b><sup>m<sub>I</sub></sup></span>. Nous nous plaÇons dans le contexte de l'optimisation différentiable, où les fonctions <span class="MATH"><i>f</i></span>, <span class="MATH"><i>c</i><sub>E</sub></span> et <span class="MATH"><i>c</i><sub>I</sub></span> sont régulières, par exemple de classe <span class= "MATH"><i>C</i><sup>1</sup></span>.</p> <h3><a name="SECTION00033100000000000000" id= "SECTION00033100000000000000"></a> <a name="ss:opinel" id= "ss:opinel"></a><br /> Algorithmes de points intérieurs non-linéaires</h3>Les méthodes de points intérieurs (PI) sont récemment apparues comme pouvant offrir une approche intéressante pour résoudre des problèmes d'optimisation non-linéaires avec contraintes. Ces méthodes ont été introduites au milieu des années 80 en optimisation linéaire (minimisation d'un critère linéaire sous des contraintes affines). Elles ont donné lieu à de nombreuses études après qu'à la suite des travaux de Karmarkar on ait montré qu'elles pouvaient être beaucoup plus efficaces que l'algorithme du simplexe jusqu'alors utilisé, notamment lorsqu'il y a un grand nombre de contraintes d'inégalité. Les algorithmes adaptés à l'optimisation linéaire sont à présent bien stabilisés. <p>Les succès remportés par les méthodes de PI en optimisation linéaire avec un grand nombre de contraintes ont conduit de nombreux chercheurs à étendre les concepts de base de l'approche à d'autres types de problèmes d'optimisation. Ces dernières années, d'importants efforts ont été fournis pour développer ces techniques en optimisation semi-définie positive (critère linéaire et contraintes de semi-définie positivité sur la valeur matricielle prise par une application affine des inconnues), en optimisation sous contraintes coniques (généralisation du problème précédent), en optimisation convexe, etc ...</p> <p>L'application de l'approche par PI aux problèmes d'optimisation non-linéaires généraux est plus récente et constitue une part importante de nos recherches. Ces problèmes sont très difficiles à résoudre, d'une part du fait des contraintes d'inégalité (parce que l'on ne sait pas à l'avance quelles vont être les contraintes <span class= "MATH"><i>c</i><sub>i</sub></span>, <span class= "MATH"><i>i</i> <img width="11" height="22" align="middle" border="0" src="img3.png" alt="$ \in$" /> <i>I</i></span>, qui seront nulles - on dit actives - en la solution) et d'autre part du fait de la non convexité éventuelle de ces problèmes. L'approche par PI repousse astucieusement « à l'infini » la première difficulté, en introduisant un paramètre <span class="MATH"><img width="10" height="22" align="middle" border="0" src="img7.png" alt="$ \mu$" /> > 0</span> perturbant les conditions d'optimalité, là où la combinatoire du problème s'exprime (dans les conditions de complémentarité). On fait tendre celui-ci progressivement vers zéro, pour forcer les itérés à se rapprocher de la solution. Cette technique permet donc de maîtriser la combinatoire intrinsèque de ces problèmes, liée à la détermination des contraintes actives. La seconde difficulté est plus classiquement surmontée par l'utilisation de techniques quasi-Newtoniennes ou d'une approche combinant région de confiance ou recherche linéaire et gradient conjugué tronqué.</p> <p>L'action coopérative OPINeL lancée en 1997 et qui a pris fin en août 2000 est liée à ce thème de recherche. Elle a eu pour but d'étudier et de contribuer à l'amélioration des méthodes de PI pour résoudre efficacement les problèmes d'optimisation non-linéaires généraux et de tester les algorithmes proposés sur diverses applications (cf. <a href= "resul_module-12_Toc.html#ss:code-opinel">5.6.1</a>).</p> <h3><a name="SECTION00033200000000000000" id= "SECTION00033200000000000000">Autres méthodes numériques</a></h3>Dans la résolution des grands problèmes, le calcul des dérivées premières et secondes reste une difficulté importante, malgré les progrès réalisés en différentiation automatique. En optimisation, les <em>méthodes de quasi-Newton</em> ont été conÇues pour permettre de construire une approximation d'un hessien à partir de gradients calculés en divers points. On comprend bien en effet que la variation du gradient lorsque l'on passe d'un itéré à l'autre donne de l'information sur les dérivées secondes. Cette technique qui s'est beaucoup développée dans les années 70 et 80 continue à être étudiée pour s'appliquer à des contextes particuliers ou nouveaux. Citons : <ul> <li>l'optimisation sur les variétés,</li> <li>les méthodes de points intérieurs,</li> <li>les problèmes de moindres-carrés non linéaires (pour approcher les dérivées secondes des résidus et accélérer ainsi l'algorithme de Gauss-Newton),</li> <li>génération dynamique de préconditionneurs quasi-newtoniens dans la résolution de systèmes linéaires en cascade.</li> </ul> <p>Avec la <em>différentiation automatique</em>, on cherche au contraire à mettre à la disposition du numéricien des outils lui permettant de calculer les dérivées, en principe d'ordre quelconque, de manière efficace et précise, d'une fonction qui n'est connue que par un programme informatique. On distingue un mode direct et un mode inverse de différentiation. Le <em>mode direct</em> est bien adapté au calcul des dérivées directionnelles d'une fonction à valeurs vectorielles. Le <em>mode inverse</em> peut être vu comme une automatisation de la technique de l'état adjoint. Il permet de calculer toutes les dérivées partielles formant le gradient d'une fonction à valeurs scalaires en un temps qui est du même ordre que celui nécessaire à l'évaluation de la fonction. Il est donc intéressant en optimisation où le gradient est l'objet numérique de base.</p> </body>