Section: Scientific Foundations

Algèbre max-plus, programmation dynamique, et commande optimale/Max-plus algebra, dynamic programming, and optimal control

L'exemple le plus simple d'un problème conduisant à une équation min-plus linéaire est le problème classique du plus court chemin. Considérons un graphe dont les nœuds sont numérotés de 1 à $n$ et dont le coût de l'arc allant du nœud $i$ au nœud $j$ est noté $M_{ij}\in ℝ\cup \{+\infty \}$. Le coût minimal d'un chemin de longueur $k$, allant de $i$ à $j$, est donné par la quantité:

où le minimum est pris sur tous les chemins $\ell =({\ell }_0,...,{\ell }_k)$ de longueur $k$, de nœud initial ${\ell }_0=i$ et de nœud final ${\ell }_k=j$. L'équation classique de la programmation dynamique s'écrit:

On reconnaît ainsi une équation linéaire min-plus :

où on note par la concaténation le produit matriciel induit par la structure de l'algèbre min-plus. Le classique problème de Lagrange du calcul des variations,

où $X\left(t\right)\in {ℝ}^n$, pour $0\le t\le T$, et $L:{ℝ}^n\times {ℝ}^n\to ℝ$ est le Lagrangien, peut être vu comme une version continue de (1 ), ce qui permet de voir l'équation d'Hamilton-Jacobi que vérifie $v$,

comme une équation min-plus linéaire. En particulier, les solutions de (5 ) vérifient un principe de superposition min-plus: si $v$ et $w$ sont deux solutions, et si $\lambda ,\mu \in ℝ$, $inf(\lambda +v,\mu +w)$ est encore solution de (5 ). Ce point de vue, inauguré par Maslov, a conduit au développement de l'école d'Analyse Idempotente (voir  [144] , [128] , [138] ).

La présence d'une structure algébrique sous-jacente permet de voir les solutions stationnaires de (2 ) et (5 ) comme des vecteurs propres de la matrice $M$ ou du semi-groupe d'évolution de l'équation d'Hamilton-Jacobi. La valeur propre associée fournit le coût moyen par unité de temps (coût ergodique). La représentation des vecteurs propres (voir  [161] , [173] , [95] , [121] , [89] , [72] , [6] pour la dimension finie, et  [144] , [128] pour la dimension infinie) est intimement liée au théorème de l'autoroute qui décrit les trajectoires optimales quand la durée ou la longueur des chemins tend vers l'infini. Pour l'équation d'Hamilton-Jacobi, des résultats reliés sont apparus récemment en théorie d'“Aubry-Mather”  [105] .

English version

The most elementary example of a problem leading to a min-plus linear equation is the classical shortest path problem. Consider a graph with nodes $1,...,n$, and let $M_{ij}\in ℝ\cup \{+\infty \}$ denote the cost of the arc from node $i$ to node $j$. The minimal cost of a path of a given length, $k$, from $i$ to $j$, is given by (1 ), where the minimum is taken over all paths $\ell =({\ell }_0,...,{\ell }_k)$ of length $k$, with initial node ${\ell }_0=i$ and final node ${\ell }_k=j$. The classical dynamic programming equation can be written as in (2 ). We recognise the min-plus linear equation (3 ), where concatenation denotes the matrix product induced by the min-plus algebraic structure. The classical Lagrange problem of calculus of variations, given by (4 ) where $X\left(t\right)\in {ℝ}^n$, for $0\le t\le T$, and $L:{ℝ}^n\times {ℝ}^n\to ℝ$ is the Lagrangian, may be thought of as a continuous version of (1 ), which allows us to see the Hamilton-Jacobi equation (5 ) satisfied by $v$, as a min-plus linear equation. In particular, the solutions of (5 ) satisfy a min-plus superposition principle: if $v$ and $w$ are two solutions, and if $\lambda ,\mu \in ℝ$, then $inf(\lambda +v,\mu +w)$ is also a solution of (5 ). This point of view, due to Maslov, led to the developpement of the school of Idempotent Analysis (see  [144] , [128] , [138] ).

The underlying algebraic structure allows one to see stationnary solutions of (2 ) and (5 ) as eigenvectors of the matrix $M$ or of the evolution semigroup of the Hamilton-Jacobi equation. The associated eigenvalue gives the average cost per time unit (ergodic cost). The representation of eigenvectors (see  [161] , [173] , [121] , [89] , [95] , [72] , [6] for the finite dimension case, and  [144] , [128] for the infinite dimension case) is intimately related to turnpike theorems, which describe optimal trajectories as the horizon, or path length, tends to infinity. For the Hamilton-Jacobi equation, related results have appeared recently in the “Aubry-Mather” theory  [105] .