Projet : META2

Précédent : Systèmes à événements discrets et Remonter : Fondements scientifiques Suivant : Systèmes implicites

   
Commande Stochastique

Mots clés : commande stochastique, commande singulière, frontière libre, Hamilton-Jacobi-Bellman, inéquation variationnelle .

Participants : Marianne Akian, Christophe Patry, Agnès Sulem.

Résumé :

La commande stochastique est l'étude des systèmes dynamiques perturbés par des événements aléatoires et que l'on peut commander dans le but d'optimiser un certain critère.

On considère des systèmes dynamiques dont l'état est modélisé par un processus de diffusion (avec sauts éventuellement), sur lequel on peut agir au moyen de variables de commande. La commande peut être continue, singulière ou impulsionnelle. Le but est d'optimiser un critère sur un horizon de gestion fini ou infini ou de type ergodique. La fonction valeur, qui réalise l'optimum du critère satisfait une équation d'Hamilton-Jacobi-Bellman ou une Inéquation variationnelle ou Quasi-Variationnelle elliptique, parabolique ou ergodique, avec des conditions aux limites appropriées selon le comportement du processus au bord du domaine : arrêté, réfléchi, etc ...

Soit par exemple un système dont l'état X_t est gouverné par une diffusion dans un ouvert $\Omega$ :

 

$$\sigma$$ (11)

où u_t est le processus de commande, et W_t un processus de Wiener. On cherche à optimiser un critère par exemple de la forme

 

$$\left(\vphantom{ \int_0^\tau e^{- \alpha t} f(X_t, u_t)dt}\right. \int_{0}^{\tau} \alpha \left.\vphantom{ \int_0^\tau e^{- \alpha t} f(X_t, u_t)dt}\right)$$ (12)

où E désigne l'espérance, $\alpha$ > 0 et $\tau$ désigne le premier temps de sortie de X_t du domaine $\Omega$.

Notons

V(x) = $$\sup_{u\in \mathcal{U}}^{}$$J(x, u)

où J(x, u) est donné par (12) et $\mathcal {U}$ est l'ensemble des commandes admissibles.

La méthode de la Programmation Dynamique conduit à une équation d'Hamilton-Jacobi-Bellman pour la fonction valeur V :

 

$$\left\{\vphantom{ \begin{array}{ll}\displaystyle \max_{u \in \mat... ...x{dans$\Omega$ }, \\ V = 0 & \mbox{sur $\partial \Omega$ },\end{array} }\right. \begin{array}{ll}\displaystyle \max_{u \in \mathcal{U}} (A^u V + ... ... 0 & \mbox{dans$\Omega$ }, \\ V = 0 & \mbox{sur $\partial \Omega$ },\end{array} \left.\vphantom{ \begin{array}{ll}\displaystyle \max_{u \in \math... ...x{dans$\Omega$ }, \\ V = 0 & \mbox{sur $\partial \Omega$ },\end{array} }\right.$$ (13)

où A^u est un opérateur elliptique, pouvant être dégénéré, du 2ème ordre :

 

$$\sum_{i,j=1}^{n} {\frac{\partial^2 V}{\partial x_i\partial x_j}} \sum_{i=1}^{} {\frac{\partial V}{\partialx_i}} \alpha$$ (14)

avec a = (a_ij)_{i, j = 1,..., n} = $${\textstyle\frac{1}{2}}$$$$\sigma$$$$\sigma^{T}_{}$$ et donc $$\sum_{i=1}^{n}$$a_ij(x, u)$$\eta_{i}^{}$$$$\eta_{j}^{}$$ $$\geq$$ 0,    $$\forall$$x $$\in$$ $$\Omega$$,  $$\eta$$ $$\in$$ $$\mathbb{R}$$ⁿ,  u $$\in$$ $$\mathcal {U}$$.

Dans le cas d'une commande singulière (alors le déplacement de l'état du système dû à l'application de la commande est non différentiable par rapport au temps), l'équation de la Programmation Dynamique est une inéquation variationnelle (I.V.), c'est à dire un système d'inéquations aux dérivées partielles.

La commande peut être également de type impulsionnel, c'est-à-dire que l'état du système subit des sauts à certains instants, les instants d'impulsion et la taille des sauts étant des variables de décision. Dans ce cas, la fonction valeur vérifie une Inéquation Quasi-Variationnelle (I.Q.V.). Les I.V. et I.Q.V. correspondent à des problèmes de frontière libre. La théorie des solutions de viscosité fournit un cadre rigoureux pour l'étude des équations de la Programmation Dynamique. L'étude théorique et numérique de ces problèmes est un sujet de recherche traditionnel du projet et présente de nombreuses applications en mathématiques financières.

Précédent : Systèmes à événements discrets et Remonter : Fondements scientifiques Suivant : Systèmes implicites