Projet : MODEL - Analyse de modèles markoviens

Participants : Haïsçam Abdallah, Moulaye Hamza, Jean-Marc Laferté, Louis-Marie Le Ny, Stéphanie Mahévas, Raymond Marie, Gerardo Rubino, Bruno Sericola, Bruno Tuffin.

Résumé :

Dans ce cadre, nous nous sommes concentrés d'une part sur les problèmes posés par les espaces d'états de grande taille (voire de taille infinie) en développant des nouvelles méthodes de simulation et de calcul de bornes et, d'autre part, sur des techniques de résolution exacte ou approchée de mesures d'évaluation quantitative de systèmes.

Analyse transitoire

Participants : Haïsçam Abdallah, Moulaye Hamza, Raymond Marie, Bruno Sericola.

Un nouvel algorithme de calcul de mesures transitoires, en particulier la disponibilité ponctuelle et la disponibilité moyenne sur un intervalle, a été développé pour des modèles dits raides (taux de défaillance $\ll$ taux de restauration) et lorsque l'espace d'états est relativement petit. Cet algorithme, basé sur la méthode des puissances uniformisées et sur la détection du régime stationnaire, est détaillé dans [[7]]. Dans ce cadre, que l'on sait défavorable à la technique d'uniformisation standard, une approximation a été proposée par S. M. Ross pour obtenir les probabilités d'état à la fin d'un intervalle de temps fini. Cette méthode est facile à mettre en oeuvre et la précision obtenue est très satisfaisante. Cependant la méthode proposée par S. M. Ross nécessite l'inversion d'une matrice dont la taille est égale à celle du générateur infinitésimal de la chaîne étudiée. En général, la matrice inverse n'est pas creuse et ce problème constitue la limite réelle de cette méthode. Basée sur l'idée de S. M. Ross, nous avons développé une technique [[13]] qui permet de fournir des mesures de sûreté de fonctionnement, instantanées ou sur un intervalle de temps fini. Cette technique utilise une méthode de résolution qui préserve la structure du générateur infinitésimal. Si le générateur infinitésimal est de type bloc-tridiagonal, notre méthode fournit le résultat en un temps de calcul largement plus faible que celui de la technique d'uniformisation (pour des chaînes raides), sans que l'erreur sur le résultat n'ait de conséquence significative.

Lorsque les valeurs de certains taux de défaillance ou de restauration ne sont pas connus avec suffisamment de précision, on peut avoir recours à des études de sensibilité. L'évaluation de la sensibilité d'une mesure donnée se trouve confrontée au problème de la précision numérique des résultats et au temps de calcul, surtout lorsqu'il s'agit des modèles markoviens raides. Deux méthodes de résolution implicites d'équations différentielles (ODE), particulièrement adaptées aux modèles raides (IRK3 et TR-BDF2), ont été améliorées et comparées aux méthodes d'uniformisation standard et des puissances uniformisées. L'amélioration porte sur le choix d'un pas h pouvant être grand et du test d'arrêt. Les algorithmes implantés montrent que, malgré l'amélioration des méthodes ODE, la méthode des puissances uniformisées reste plus efficace relativement au temps de calcul et permet également de majorer l'erreur globale. Les travaux en cours concernent l'évaluation de la sensibilité des mesures de performabilité d'un modèle markovien (raide). On s'intéresse plus particulièrement à la sensibilité de l'espérance de la récompense cumulée sur un intervalle de temps donné. L'extension de la méthode des puissances uniformisées à ce cas a été développée et les algorithmes construits sont en cours de comparaison avec l'uniformisation et les méthodes IRK3 et TR-BDF2.

Monte Carlo et Quasi-Monte Carlo

Nous avons travaillé dans le cadre de l'évaluation de mesures de sûreté de fonctionnement de systèmes multi-composants réparables, à partir de modèles markoviens. En considérant le cas des mesures stationnaires ou encore de la MTTF (voir 3.1), nous avons étudié les méthodes de Monte Carlo existantes, appartenant toutes au cadre de l'échantillonnage préférentiel. Nous avons proposé des améliorations de certaines de ces méthodes, et nous avons comparé les performances obtenues. Enfin, nous avons travaillé sur les problèmes numériques engendrés par les événements rares même si des méthodes d'échantillonnage préférentiel sont utilisées [[19]]. Nous analysons les problèmes rencontrés pour l'estimation aussi bien de la variance de l'estimateur que pour l'estimation de la mesure recherchée et établissons un cadre dans lequel ces estimations sont correctes.

Nous avons prolongé certains travaux dans le cadre des techniques dites de «quasi-Monte Carlo» (voir 3.3). Dans quasi-Monte Carlo, l'erreur commise lorsqu'on approche (2) par (4) est bornée par des quantités dépendant de la discrépance de la suite et de la variation, en un certain sens, de la fonction que l'on veut sommer. L'estimation de ces composants des bornes de l'erreur étant en pratique difficile voire impossible, l'utilisation des suites à discrépance faible comme technique de réduction de la variance dans le cadre de Monte Carlo est une alternative judicieuse. Ainsi nous pouvons obtenir un intervalle de confiance par le théorème central limite et bénéficier de la bonne répartition des points de la suite à discrépance faible dans l'intervalle d'intégration. L'idée est d'approcher (2) par

$\displaystyle \widetilde{I}$ = $\displaystyle {\frac{1}{MN}}$ $\displaystyle \sum_{m=1}^{M}$ $\displaystyle \sum_{n=1}^{N}$ f ({X^(m) + $\displaystyle \xi^{(n)}_{}$ })

| $\displaystyle \hat{f}$ (h)| $\displaystyle \leq$ C $\displaystyle \left(\vphantom{ \prod_{i=1}^s \max(1,\vert h_i\vert) }\right.$ $\displaystyle \prod_{i=1}^{s}$ max(1,| h_i|) $\displaystyle \left.\vphantom{ \prod_{i=1}^s \max(1,\vert h_i\vert) }\right)^{-\alpha}_{}$ .

Calcul de bornes de la performabilité asymptotique

Cet axe de recherche concerne l'un des goulots d'étranglement de la modélisation quantitative, celui de l'explosion combinatoire des espaces d'états des modèles markoviens. Une approche développée récemment pour palier en même temps le problème de l'explosion combinatoire et celui de la raideur des modèles (et qui, en fait, exploite à son profit cette raideur) consiste à calculer des bornes des mesures d'intérêt. L'idée sous-jacente est que, même si l'espace d'états est grand, la valeur de la mesure que nous considérons dépend «essentiellement» de ce qui se passe sur un petit nombre d'états. Tout le problème est d'être capable de borner l'erreur introduite lorsqu'on réalise des calculs avec une information partielle, ainsi que, bien entendu, de concevoir ces procédures de calcul. Un problème supplémentaire est celui de l'identification efficace du sous-espace utile pour l'obtention de bonnes bornes sur les mesures d'intérêt. Des travaux récents ont permis d'obtenir des bornes de qualité pour des mesures asymptotiques, dans le cas de la sûreté de fonctionnement. Ces travaux exigent que les modèles vérifient certaines hypothèses qui sont parfois assez restrictives. Par ailleurs, le phénomène de raideur associé en général aux modèles construits dans le but de travailler avec des mesures de sûreté de fonctionnement, a son analogue dans le monde de l'évaluation de performances, dans le cas des systèmes faiblement chargés. Malheureusement, les conditions d'applicabilité des techniques existantes sont rarement satisfaites dans ce contexte. Notre effort s'est concentré dans cette direction et nous avons développé une nouvelle approche ayant moins de restrictions dans son applicabilité.

Par exemple, nous avons obtenu des bornes fines de mesures asymptotiques calculées à partir de réseaux de files d'attente ouverts (i.e., des modèles avec une infinité d'états), pour lesquels il n'y a pas de solution analytique connue. Nous avons poursuivi cet effort pour fondamentalement élargir encore le champ d'application de notre méthode. Dans la mesure où elle dépend encore de la résolution de systèmes linéaires qui peuvent toujours être de grande taille, nous avons développé un raffinement permettant, sous certaines hypothèses, de traiter aussi de tels cas. Nous travaillons sur des extensions de l'approche de base, en particulier, pour traiter des problèmes de performance.

Analyse «en ligne»

Il s'agit ici d'une approche nouvelle que nous avons commencé à développer l'année dernière. Considérons un système réparti devant respecter des contraintes de qualité de service au niveau de la sûreté de fonctionnement. Lors de sa conception, on utilise un modèle $\cal M$ pour ajuster l'architecture et valider que, par exemple, la disponibilité à l'instant T a une valeur suffisamment proche de 1. Une fois mis en opération (à l'instant 0), le modèle $\cal M$ n'est plus utilisé (ses prédictions sur le futur ont déjà été faites), ou alors, il est employé pour étudier des variantes du système, ou éventuellement pour comprendre certains phénomènes observés. Supposons maintenant qu'à l'instant t < T on s'interroge sur les propriétés sélectionnées de sûreté de fonctionnement concernant un instant futur, comme la disponibilité à T. On peut bien entendu utiliser les prédictions faites avant l'instant 0 à l'aide de $\cal M$ . Or, d'une manière générale, il est toujours possible de réaliser des observations sur le système en opération pendant l'intervalle [0, t], de nature très variée, parfois riches, parfois très limitées. Nous proposons d'utiliser ces observations sur l'histoire observée jusqu'à t dans le même modèle $\cal M$ utilisé pendant la phase de conception, pour améliorer les prédictions sur le futur. Sous certaines hypothèses, des informations même macroscopiques peuvent être intégrées dans le modèle initial et changer la valeur des mesures concernant le futur du système. Nous étudions différentes classes d'observations pouvant être intégrées efficacement à $\cal M$ pour un re-calcul des évaluations prévisionnelles, dans un cadre markovien. Du point de vue algorithmique, il s'agit de techniques basées sur des méthodes utilisées dans la reconnaissance de la parole, ou plus généralement de l'identification adaptative de systèmes.