Précédent : Réseaux de neurones Remonter : Marches aléatoiresréseaux et processus Suivant : Méthodes analytiques pour les marches

Contrôle de chaînes de Markov

Participant : Vadim Malyshev En collaboration avec divers auteurs, on propose une nouvelle classe de problèmes pour le contrôle de décision dans les chaînes de Markov [15]. Le point essentiel est que certaines situations concrètes requièrent un changement d'échelle temporel radicalement différent de ceux habituellement rencontrés. On introduit le concept de changement d'échelle d'urgence  : quand on est loin de l'état d'équilibre (il y a donc situation critique et risque de catastrophe), il faut trouver le chemin optimal permettant de se rapprocher suffisammment de cet état, la stratégie étant possiblement très différente de celle en vigueur pendant les périodes de calme. La condition ``être loin de l'équilibre'' s'obtient en dilatant l'état initial : l'échelle de temps cherchée est alors liée au temps d'atteinte d'un voisinage de l'état d'équilibre le plus probable, en supposant qu'on parte de l'état initial dilaté.
Si les approximations fluides existent dans la littérature (comme procédures déterministes ad hoc), c'est peut-être la première fois qu'une preuve de la convergence vers un système fluide est donnée. Les principales techniques mises en jeu sont les changement d'échelle d'Euler (cf. RA95) et les fonctions de Lyapounov. On obtient par exemple des solutions explicites au problème de première atteinte pour des marches aléatoires contrôlées dans le plan, avec applications à des systèmes comportant deux files d'attente.