Projet : ESTIME

Précédent : Méthodes numériques pour les équations Remonter : Fondements scientifiques Suivant : Domaines d'applications

Sous-sections

• Algorithmes de points intérieurs non-linéaires
• Autres techniques numériques

   
Méthodes numériques en optimisation

Mots clés : Optimisation sous contraintes, algorithmes de points intérieurs, de quasi-Newton, différentiation automatique .

Glossaire :

Algorithmes de points intérieurs Techniques numériques d'optimisation adaptées à la résolution des problèmes soumis à un grand nombre de contraintes d'inégalité. Dans cette approche, les itérés sont maintenus dans l'intérieur du domaine admissible. On les qualifie de non-linéaires s'ils sont conçus pour résoudre des problèmes non linéaires.

Méthodes de quasi-Newton Techniques numériques d'optimisation permettant de construire une approximation d'un hessien à partir des dérivées premières. Celles-ci permettent d'éviter le calcul coûteux des dérivées secondes et d'accélérer la convergence des algorithmes du premier ordre.

Différentiation automatique Techniques numériques et informatiques permettant de générer un programme calculant en un point les dérivées d'une fonction qui n'est connue que par la donnée d'un autre programme informatique.

Les problèmes inverses ou d'estimation de paramètres considérés dans le projet Estime se formulent en général comme des problèmes d'optimisation d'une fonctionnelle moindres carrés. C'est pourquoi il existe dans le projet une activité de recherche dans le domaine de l'optimisation.

On s'intéresse ici aux méthodes numériques pour résoudre les problèmes qui reviennent à minimiser un critère scalaire x $\in$ $\mathbb{R}$ⁿ $\mapsto$ f (x) $\in$ $\mathbb{R}$, les variables à optimiser x devant éventuellement vérifier des contraintes d'égalité c_E(x) = 0 et d'inégalité c_I(x) $\leq$ 0, où c_E : $\mathbb{R}$ⁿ$\to$$\mathbb{R}$^m_E et c_I : $\mathbb{R}$ⁿ$\to$$\mathbb{R}$^m_I. Nous nous plaçons dans le contexte de l'optimisation différentiable, où les fonctions f, c_E et c_I sont régulières, par exemple de classe C¹.

   
Algorithmes de points intérieurs non-linéaires

Les méthodes de points intérieurs (PI) sont récemment apparues comme pouvant offrir une approche intéressante pour résoudre des problèmes d'optimisation non-linéaires. Ces méthodes ont été introduites au milieu des années 80 en optimisation linéaire (minimisation d'un critère linéaire sous des contraintes affines). Elles ont donné lieu à de nombreuses études après qu'à la suite des travaux de Karmarkar on ait montré que ces méthodes pouvaient être beaucoup plus efficaces que l'algorithme du simplexe jusqu'alors utilisé. Les algorithmes adaptés à l'optimisation linéaire sont à présent assez bien stabilisés.

Les succès remportés par les méthodes de PI en optimisation linéaire avec un grand nombre de contraintes ont conduit de nombreux chercheurs à étendre les concepts de base de l'approche à d'autres types de problèmes d'optimisation. Ces dernières années, d'importants efforts ont été fournis pour développer ces techniques en optimisation semi-définie positive (critère linéaire et contraintes de semi-définie positivité sur la valeur matricielle prise par une application affine des inconnues), en optimisation sous contraintes coniques (généralisation du problème précédent), en optimisation convexe, etc...

L'application de l'approche PI aux problèmes d'optimisation non-linéaires généraux est plus récente et constitue une part importante de nos recherches. Ces problèmes sont très difficiles à résoudre, du fait des contraintes d'inégalité, parce que l'on ne sait pas à l'avance quelles vont être les contraintes c_i(i $\in$ I) qui seront nulles (on dit actives) en la solution. L'approche par PI repousse astucieusement ``à l'infini'' cette difficulté liée au choix des contraintes actives, en introduisant un paramètre $\mu$ > 0perturbant les conditions d'optimalité du problème. On fait tendre celui-ci progressivement vers zéro, pour forcer les itérés à se rapprocher de la solution. C'est cette technique qui permet de maîtriser la combinatoire intrinsèque de ces problèmes, liée à la détermination des contraintes actives.

L'action coopérative OPINEL, lancée en 1997 et dirigée par J.-Ch. Gilbert, est liée à ce thème de recherche. Elle a pour but d'étudier et de contribuer à l'amélioration des méthodes de PI pour résoudre efficacement les problèmes d'optimisation non-linéaires généraux et de tester les algorithmes proposés sur diverses applications.

Autres techniques numériques

Dans la résolution des grands problèmes, le calcul des dérivées premières et secondes reste une difficulté importante, malgré les progrès réalisés en différentiation automatique. En optimisation, les méthodes quasi-Newton ont été conçues pour permettre de construire une approximation d'un hessien à partir de gradients calculés en divers points. On comprend bien en effet que la variation du gradient lorsque l'on passe d'un itéré à l'autre donne de l'information sur les dérivées secondes. Cette technique qui s'est beaucoup développée dans les années 70 et 80 continue à être étudiée pour s'appliquer à des contextes particuliers ou nouveaux. Citons:

• l'optimisation sur les variétés (voir [[7]] pour un état de l'art),
• les méthodes de points intérieurs (une approche possible est décrite dans [[16]]),
• les problèmes de moindres-carrés non linéaires (pour approcher les dérivées secondes des résidus et accélérer ainsi l'algorithme de Gauss-Newton),
• génération dynamique de préconditionneurs quasi-newtoniens dans la résolution de systèmes linéaires en cascade.

Avec la différentiation automatique, on cherche au contraire à mettre à la disposition du numéricien des outils lui permettant de calculer les dérivées, en principe d'ordre quelconque, d'une fonction qui n'est connue que par un programme informatique. La méthode de différentiation connue sous le nom de mode inverse est une automatisation de la technique de l'état adjoint, qui permet de calculer toutes les dérivées partielles formant le gradient en un temps qui est du même ordre que celui nécessaire au calcul de la fonction. Elle est donc intéressante en optimisation où le gradient est l'objet numérique de base. Sont à mentionner une collaboration de longue date avec les concepteurs du logiciel ODYSSÉE (A. Galligo, F. Eyssette, N. Rostaing, Ch. Faure), une première ébauche de différentiateur pour SCILAB et le développement du code Gradj par J. Liu et Sophie Jégou (voir aussi l'alinéa ``Génération automatique de logiciels'' de la section 3.1.2.

Précédent : Méthodes numériques pour les équations Remonter : Fondements scientifiques Suivant : Domaines d'applications