Des agents évoluant dans un environnement dynamique possèdent rarement une connaissance complète de la situation. Ils doivent choisir les actions avec une ignorance partielle et souvent il leur est nécessaire de chercher l'information qui leur permettra d'atteindre leurs objectifs plus efficacement. Ce problème a été étudié en supposant que l'environnement est complètement déterministe. C'est cette hypothèse qui souvent fait échouer le processus dans des problèmes de contrôle de bas niveau tels ceux que l'on rencontre en robotique. Les domaines dans lesquels les actions ont des résultats probabilistes et les agents un accès direct à l'état de l'environnement peuvent être formalisés comme un processus de décision markovien. Un aspect important du modèle markovien est qu'il fournit les bases pour des algorithmes qui trouveront probablement les stratégies optimales.