<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 3.2//EN">
<!--Converted with LaTeX2HTML 98.1p1 release (March 2nd, 1998)
originally by Nikos Drakos (nikos@cbl.leeds.ac.uk), CBLU, University of Leeds
* revised and updated by:  Marcus Hennecke, Ross Moore, Herb Swan
* with significant contributions from:
  Jens Lippmann, Marek Rouchal, Martin Wilck and others -->

<html>
<head>
  <meta name="generator" content=
  "HTML Tidy for Mac OS X (vers 31 October 2006 - Apple Inc. build 13), see www.w3.org">

  <title>Projet : META2 - Commande Stochastique</title>
  <meta name="description" content="Commande Stochastique">
  <meta name="keywords" content="meta2">
  <meta name="resource-type" content="document">
  <meta name="distribution" content="global">
  <meta http-equiv="Content-Type" content=
  "text/html; charset=utf-8">
  <link rel="STYLESHEET" href="meta2.css" type="text/css">
  <link rel="next" href="fonde_SysImp.html">
  <link rel="previous" href="fonde_maxplus.html">
  <link rel="up" href="fonde.html">
  <link rel="next" href="fonde_SysImp.html">
</head>

<body bgcolor="white">
  <a href="http://www.inria.fr/Equipes/META2-fra.html">Projet :
  META2</a>

  <p><a name="tex2html191" href="fonde_maxplus.html"><img width=
  "24" height="24" align="bottom" border="4" alt="previous" src=
  "../icons/previous_motif.gif"></a> <a name="tex2html197" href=
  "fonde.html"><img width="24" height="24" align="bottom" border=
  "4" alt="up" src="../icons/up_motif.gif"></a> <a name=
  "tex2html200" href="fonde_SysImp.html"><img width="24" height=
  "24" align="bottom" border="4" alt="next" src=
  "../icons/next_motif.gif"></a> <a name="tex2html199" href=
  "meta2.html"><img width="24" height="24" align="bottom" border=
  "4" alt="contents" src="../icons/contents_motif.gif"></a><br>
  <b>Précédent :</b> <a name="tex2html192" href=
  "fonde_maxplus.html">Systèmes à événements discrets et</a>
  <b>Remonter&nbsp;:</b> <a name="tex2html198" href=
  "fonde.html">Fondements scientifiques</a> <b>Suivant&nbsp;:</b>
  <a name="tex2html201" href="fonde_SysImp.html">Systèmes
  implicites</a><br></p>
  <hr>

  <p><!--End of Navigation Panel--></p>

  <h2><a name="SECTION00032000000000000000">&nbsp;</a> <a name=
  "META2_fondements_ComSto">&nbsp;</a><br>
  Commande Stochastique</h2>

  <p><strong>Mots clés :</strong> <i>commande stochastique,
  commande singulière, frontière libre, Hamilton-Jacobi-Bellman,
  inéquation variationnelle .</i></p>

  <p><br>
  <br>
  <b>Participants :</b> Marianne Akian, Christophe Patry, Agnès
  Sulem.<br>
  <br></p>

  <h3>Résumé :</h3>

  <div>
    <i>La commande stochastique est l'étude des systèmes dynamiques
    perturbés par des événements aléatoires et que l'on peut
    commander dans le but d'optimiser un certain critère.</i>
  </div>

  <p>On considère des systèmes dynamiques dont l'état est modélisé
  par un processus de diffusion (avec sauts éventuellement), sur
  lequel on peut agir au moyen de variables de commande. La
  commande peut être continue, singulière ou impulsionnelle. Le but
  est d'optimiser un critère sur un horizon de gestion fini ou
  infini ou de type ergodique. La fonction valeur, qui réalise
  l'optimum du critère satisfait une équation
  d'Hamilton-Jacobi-Bellman ou une Inéquation variationnelle ou
  Quasi-Variationnelle elliptique, parabolique ou ergodique, avec
  des conditions aux limites appropriées selon le comportement du
  processus au bord du domaine&nbsp;: arrêté, réfléchi, etc ...</p>

  <p>Soit par exemple un système dont l'état <i>X</i><sub>t</sub>
  est gouverné par une diffusion dans un ouvert <img width="13"
  height="11" align="bottom" border="0" src="img108.gif" alt=
  "$ \Omega$"> :</p>

  <div align="center">
    <a name="eq4.1">&nbsp;</a> <!-- MATH: \begin{equation}
dX_t = b(X_t, u_t) dt + \sigma(X_t, u_t)dW_t, \; \; X_0 = x
\end{equation} -->

    <table cellpadding="0" width="100%" align="center">
      <tr valign="middle">
        <td nowrap align="center"><i>dX</i><sub>t</sub> =
        <i>b</i>(<i>X</i><sub>t</sub>,
        <i>u</i><sub>t</sub>)<i>dt</i> + <img width="11" height=
        "11" align="bottom" border="0" src="img109.gif" alt=
        "$\displaystyle \sigma$">(<i>X</i><sub>t</sub>,
        <i>u</i><sub>t</sub>)<i>dW</i><sub>t</sub>, &nbsp;
        &nbsp;<i>X</i><sub>0</sub> = <i>x</i></td>

        <td nowrap width="10" align="right">(11)</td>
      </tr>
    </table>
  </div><br clear="all">
  où <i>u</i><sub>t</sub> est le processus de commande, et
  <i>W</i><sub>t</sub> un processus de Wiener. On cherche à
  optimiser un critère par exemple de la forme

  <div align="center">
    <a name="eq4.3">&nbsp;</a> <!-- MATH: \begin{equation}
E \left( \int_0^\tau e^{- \alpha t} f(X_t, u_t)dt\right)
\end{equation} -->

    <table cellpadding="0" width="100%" align="center">
      <tr valign="middle">
        <td nowrap align="center"><i>E</i><img width="14" height=
        "43" align="middle" border="0" src="img110.gif" alt=
        "$\displaystyle \left(\vphantom{ \int_0^\tau e^{- \alpha t} f(X_t, u_t)dt}\right.$"><img width="22"
        height="42" align="middle" border="0" src="img111.gif" alt=
        "$\displaystyle \int_{0}^{\tau}$"><i>e</i><sup>-
        <img width="10" height="10" align="bottom" border="0" src=
        "img112.gif" alt="$\scriptstyle \alpha$">t</sup><i>f</i>
        (<i>X</i><sub>t</sub>,
        <i>u</i><sub>t</sub>)<i>dt</i><img width="14" height="43"
        align="middle" border="0" src="img113.gif" alt=
        "$\displaystyle \left.\vphantom{ \int_0^\tau e^{- \alpha t} f(X_t, u_t)dt}\right)$"></td>

        <td nowrap width="10" align="right">(12)</td>
      </tr>
    </table>
  </div><br clear="all">
  où <i>E</i> désigne l'espérance, <!-- MATH: $\alpha > 0$ -->
  <img width="12" height="11" align="bottom" border="0" src=
  "img114.gif" alt="$ \alpha$"> &gt; 0 et <img width="10" height=
  "11" align="bottom" border="0" src="img37.gif" alt="$ \tau$">
  désigne le premier temps de sortie de <i>X</i><sub>t</sub> du
  domaine <img width="13" height="11" align="bottom" border="0"
  src="img108.gif" alt="$ \Omega$">.

  <p>Notons <!-- MATH: \begin{displaymath}
V(x) = \sup_{u\in \mathcal{U}} J(x,u)
\end{displaymath} --></p>

  <div align="center">
    <i>V</i>(<i>x</i>) = <img width="23" height="32" align="middle"
    border="0" src="img115.gif" alt=
    "$\displaystyle \sup_{u\in \mathcal{U}}^{}$"><i>J</i>(<i>x</i>,
    <i>u</i>)
  </div>où <i>J</i>(<i>x</i>, <i>u</i>) est donné par (<a href=
  "fonde_ComSto.html#eq4.3">12</a>) et <!-- MATH: $\mathcal{U}$ -->
  <img width="13" height="12" align="bottom" border="0" src=
  "img116.gif" alt="$ \mathcal {U}$"> est l'ensemble des commandes
  admissibles.

  <p>La méthode de la Programmation Dynamique conduit à une
  équation d'Hamilton-Jacobi-Bellman pour la fonction valeur
  <i>V</i> :</p>

  <div align="center">
    <a name="eq2.1">&nbsp;</a> <!-- MATH: \begin{equation}
\left\{ \begin{array}{ll}
\displaystyle \max_{u \in \mathcal{U}} (A^u V + f(u)) = 0 & \mbox{dans
$\Omega$ }, \\V = 0 & \mbox{sur $\partial \Omega$ },
\end{array} \right.
\end{equation} -->

    <table cellpadding="0" width="100%" align="center">
      <tr valign="middle">
        <td nowrap align="center"><img width="15" height="51"
        align="middle" border="0" src="img117.gif" alt=
        "$\displaystyle \left\{\vphantom{ \begin{array}{ll}\displaystyle \max_{u \in \mat... ...x{dans$\Omega$ }, \\ V = 0 &amp; \mbox{sur $\partial \Omega$ },\end{array} }\right.$"><img width="200"
        height="50" align="middle" border="0" src="img118.gif" alt=
        "$\displaystyle \begin{array}{ll}\displaystyle \max_{u \in \mathcal{U}} (A^u V + ... ... 0 &amp; \mbox{dans$\Omega$ }, \\ V = 0 &amp; \mbox{sur $\partial \Omega$ },\end{array}$">
        <img width="6" height="50" align="middle" border="0" src=
        "img119.gif" alt=
        "$\displaystyle \left.\vphantom{ \begin{array}{ll}\displaystyle \max_{u \in \math... ...x{dans$\Omega$ }, \\ V = 0 &amp; \mbox{sur $\partial \Omega$ },\end{array} }\right.$">
        </td>

        <td nowrap width="10" align="right">(13)</td>
      </tr>
    </table>
  </div><br clear="all">
  où <i>A</i><sup>u</sup> est un opérateur elliptique, pouvant être
  dégénéré, du 2ème ordre :

  <div align="center">
    <a name="eq2.2">&nbsp;</a> <!-- MATH: \begin{equation}
A^uV(x) = \sum_{i,j=1}^n a_{ij} (x,u) \frac{\partial^2 V}{\partial x_i
\partial x_j}(x) + \sum_{i=1} b_i(x,u) \frac{\partial V}{\partial
x_i}(x) - \alpha V(x)
\end{equation} -->

    <table cellpadding="0" width="100%" align="center">
      <tr valign="middle">
        <td nowrap align="center">
        <i>A</i><sup>u</sup><i>V</i>(<i>x</i>) = <img width="27"
        height="49" align="middle" border="0" src="img120.gif" alt=
        "$\displaystyle \sum_{i,j=1}^{n}$"><i>a</i><sub>ij</sub>(<i>x</i>,
        <i>u</i>)<img width="46" height="45" align="middle" border=
        "0" src="img121.gif" alt=
        "$\displaystyle {\frac{\partial^2 V}{\partial x_i\partial x_j}}$">(<i>x</i>)
        + <img width="22" height="41" align="middle" border="0"
        src="img122.gif" alt=
        "$\displaystyle \sum_{i=1}^{}$"><i>b</i><sub>i</sub>(<i>x</i>,
        <i>u</i>)<img width="24" height="41" align="middle" border=
        "0" src="img123.gif" alt=
        "$\displaystyle {\frac{\partial V}{\partialx_i}}$">(<i>x</i>)
        - <img width="12" height="11" align="bottom" border="0"
        src="img124.gif" alt=
        "$\displaystyle \alpha$"><i>V</i>(<i>x</i>)</td>

        <td nowrap width="10" align="right">(14)</td>
      </tr>
    </table>
  </div><br clear="all">
  avec 
  <!-- MATH: $\displaystyle a = (a_{ij})_{i,j=1, \ldots, n} =  \frac{1}{2}
\sigma\sigma^T$ -->
  <i>a</i> = (<i>a</i><sub>ij</sub>)<sub>i, j = 1,..., n</sub> =
  <img width="11" height="28" align="middle" border="0" src=
  "img100.gif" alt=
  "$\displaystyle {\textstyle\frac{1}{2}}$"><img width="11" height=
  "11" align="bottom" border="0" src="img109.gif" alt=
  "$\displaystyle \sigma$"><img width="19" height="29" align=
  "middle" border="0" src="img125.gif" alt=
  "$\displaystyle \sigma^{T}_{}$"> et donc 
  <!-- MATH: $\displaystyle \sum_{i=1}^n a_{ij} (x,u) \eta_i \eta_j \geq 0,  \quad \forall x \in \Omega, \; \eta \in
\mathbb{R}^n, \; u \in \mathcal{U}$ -->
  <img width="22" height="49" align="middle" border="0" src=
  "img126.gif" alt=
  "$\displaystyle \sum_{i=1}^{n}$"><i>a</i><sub>ij</sub>(<i>x</i>,
  <i>u</i>)<img width="14" height="22" align="middle" border="0"
  src="img127.gif" alt="$\displaystyle \eta_{i}^{}$"><img width=
  "15" height="22" align="middle" border="0" src="img128.gif" alt=
  "$\displaystyle \eta_{j}^{}$"> <img width="13" height="22" align=
  "middle" border="0" src="img43.gif" alt="$\displaystyle \geq$">
  0,&nbsp;&nbsp;&nbsp;&nbsp;<img width="10" height="12" align=
  "bottom" border="0" src="img48.gif" alt=
  "$\displaystyle \forall$"><i>x</i> <img width="12" height="22"
  align="middle" border="0" src="img49.gif" alt=
  "$\displaystyle \in$"> <img width="13" height="11" align="bottom"
  border="0" src="img129.gif" alt="$\displaystyle \Omega$">,
  &nbsp;<img width="10" height="22" align="middle" border="0" src=
  "img130.gif" alt="$\displaystyle \eta$"> <img width="12" height=
  "22" align="middle" border="0" src="img49.gif" alt=
  "$\displaystyle \in$"> <img width="13" height="11" align="bottom"
  border="0" src="img131.gif" alt=
  "$\displaystyle \mathbb{R}$"><sup>n</sup>, &nbsp;<i>u</i>
  <img width="12" height="22" align="middle" border="0" src=
  "img49.gif" alt="$\displaystyle \in$"> <img width="13" height=
  "12" align="bottom" border="0" src="img132.gif" alt=
  "$\displaystyle \mathcal {U}$">.

  <p>Dans le cas d'une commande singulière (alors le déplacement de
  l'état du système dû à l'application de la commande est non
  différentiable par rapport au temps), l'équation de la
  Programmation Dynamique est une inéquation variationnelle (I.V.),
  c'est à dire un système d'inéquations aux dérivées
  partielles.</p>

  <p>La commande peut être également de type impulsionnel,
  c'est-à-dire que l'état du système subit des sauts à certains
  instants, les instants d'impulsion et la taille des sauts étant
  des variables de décision. Dans ce cas, la fonction valeur
  vérifie une Inéquation Quasi-Variationnelle (I.Q.V.). Les I.V. et
  I.Q.V. correspondent à des problèmes de frontière libre. La
  théorie des solutions de viscosité fournit un cadre rigoureux
  pour l'étude des équations de la Programmation Dynamique. L'étude
  théorique et numérique de ces problèmes est un sujet de recherche
  traditionnel du projet et présente de nombreuses applications en
  mathématiques financières.</p>

  <p><br></p>
  <hr>
  <a name="tex2html191" href="fonde_maxplus.html"><img width="24"
  height="24" align="bottom" border="4" alt="previous" src=
  "../icons/previous_motif.gif"></a> <a name="tex2html197" href=
  "fonde.html"><img width="24" height="24" align="bottom" border=
  "4" alt="up" src="../icons/up_motif.gif"></a> <a name=
  "tex2html200" href="fonde_SysImp.html"><img width="24" height=
  "24" align="bottom" border="4" alt="next" src=
  "../icons/next_motif.gif"></a> <a name="tex2html199" href=
  "meta2.html"><img width="24" height="24" align="bottom" border=
  "4" alt="contents" src="../icons/contents_motif.gif"></a><br>
  <b>Précédent :</b> <a name="tex2html192" href=
  "fonde_maxplus.html">Systèmes à événements discrets et</a>
  <b>Remonter&nbsp;:</b> <a name="tex2html198" href=
  "fonde.html">Fondements scientifiques</a> <b>Suivant&nbsp;:</b>
  <a name="tex2html201" href="fonde_SysImp.html">Systèmes
  implicites</a>

  <p><!--End of Navigation Panel--></p>
</body>
</html>
